mimic Robotics 是一家物理人工智能公司,为通用工业自动化开创了视频动作模型,推出了 FLUX-mimic,这是与 Black Forest Labs 合作开发的下一代视频动作模型,使机器人能够在现实工业环境中学习和执行复杂的操作任务。
FLUX-mimic 将imimic 在机器人学习、灵巧操作和生产部署方面的专业知识与 Black 的前沿视觉智能架构相结合。 Forest Labs 的新 FLUX 3 视频模型。 mimic 的早期开创性工作“mimic-video”通过采用预先训练的视频生成模型并添加预测机器人动作的功能,引入了视频动作模型。 FLUX-mimic 建立在该基础上,采用专为物理 AI 构建的架构。
当今大多数现代机器人学习管道都建立在视觉-语言-动作模型上,其骨干网在静态 i 上进行了预训练。法师和文本对——因此他们必须几乎完全从稀缺且昂贵的机器人演示数据中学习物理动力学。相反,FLUX-mimic 建立在生成视频模型的基础上,该模型已经从大规模视频预训练中了解动态和行为,然后训练动作解码器直接根据视觉预测来预测机器人动作。
结果:根据任务难度,只需 30 分钟的机器人数据即可对模型进行微调,以适应特定的操作任务,而之前的方法需要 30 或更多小时。这是一项巨大的改进,可将部署周期从数月缩短至数周。
“机器人技术是视觉智能最清晰的证明之一。为了生成令人信服的视频,模型必须了解物理世界的行为方式;同样的理解能够在其中采取行动,”黑森林实验室联合创始人兼首席执行官 Robin Rombach 说道。 “通过将 FLUX 3 的学习世界模型与模仿者的专业知识相结合,“在机器人学习和部署方面,FLUX-mimic 使机器人能够更轻松地适应新任务和生产环境,而不是一次只针对一项任务进行设计。”
mimic 已经与奥迪等制造领导者一起实施 FLUX-mimic。两家公司正在共同探索前沿视频动作模型如何减少实际工业自动化的部署时间、工程工作量和机器人培训要求。
奥迪运营着汽车行业自动化程度最高的生产网络之一 –尽管对工业机器人进行了数十年的投资,但涉及灵活零件和精细操作的任务仍然是手动的,这使得传统编程的机器人单元成本过高,无法重新设计基于学习的系统,并为奥迪的长期愿景开辟了道路。:将工厂转变为智能工厂,人工智能和机器人将成为员工的合作伙伴,提供量身定制的支持,并接管重复性和体力要求较高的任务。
“奥迪与imimic合作,一直在测试和部署FLUX-mimic。我们已经看到这些机器人解决了传统机器人根本不可能完成的复杂软体操纵工作。这项新技术可以在帮助我们的员工、提高效率以及在生产和物流运营中扩展灵活自动化方面产生重大影响,”Christoph Schneider说来自奥迪生产实验室。 “对我们来说,与imit和Black Forest Labs等先驱公司合作对于推动物理人工智能的前沿并在现实生产环境中验证这些创新至关重要。”
“奥迪代表了我们为其构建 FLUX-mimic 的制造合作伙伴,”mimic 联合创始人兼首席产品官 Stephan-Daniel Gravert 说道机器人技术。 “他们的生产环境需要足够灵活的自动化来处理非结构化任务,足够可靠的连续操作,并且无需数月的工程开销即可集成。通过与奥迪的合作,我们希望证明 FLUX-mimic 可以满足实际生产线的这些需求。”