很荣幸邀请到袁浩然分享VTAM & DexTacWAM两篇工作。
同时也邀请到陈文迪做本场分享的主持人。
北京时间11月20日上午10.00,同时也邀请了相关方向的 PhD 一起交流探讨,欢迎各位参与!
Touching the World: Efficient Visuo-Tactile World-Action Models for Contact-Rich Manipulation
交流主题
从 vision world modeling 迁移到 tactile world modeling:在预训练好的视频世界模型上,能否只用少量任务示范,通过 continual learning 学会触觉,而不需要触觉预训练?
预测接触,而不只是感知接触:为什么触觉应该作为世界模型的预测目标,而不只是一个输入?
把触觉扩展到灵巧手:如何高效表示和利用双手十指的高维触觉?
如何用好昂贵的触觉数据:egocentric 视频数据规模大、成本低,触觉数据昂贵且稀缺,两者之间存在明显的不对称。如何利用这种不对称,让触觉数据带来接触密集(contact-rich)任务上的 zero-shot / few-shot 泛化,而不只是成功率的小幅提升?
论文标题
VTAM: Efficient Visuo-Tactile World-Action Models for Contact-Rich Manipulation without Tactile PretrainingPaper:
Project:
Code:
DexTacWAM: A Visuo-Tactile World-Action Model for Dexterous ManipulationPaper:
Project:
Code:
嘉宾分享

袁浩然,UIUC 计算机工程博士生(导师 Ismini Lourentzou),UC Berkeley BAIR 访问学者(advisor: Trevor Darrell, Dr. Wei Zhan)。研究方向为 efficient AI,以及 generalizable, scalable, efficient embodied AI。代表作 DexTacWAM、VTAM(均为 project lead),以及 LLM 并行投机采样工作 JetSpec / JetSpec++(core contributor)。
个人主页:
haorany7.github.io
主持人

陈文迪是上海交通大学和上海创智学院MVIG实验室的在读直博生,主要研究机器人复杂操作与基座模型,代表作RDP、ImplicitRDP、RoboPocket,他曾获得RSS最佳学生论文提名,CVPR、ICRA工作坊最佳论文。
活动报名
报名须知:为保证交流体验,飞书会议参与同学仅限PhD及相关方向有深度研究背景的同学,每位参与的同学实名备注之后进入Robotion社群,每次活动会议链接放在社群(不用重复提交报名)。视频号直播公开。报名链接:报名二维码:
更多交流
来源:human five