佩加索斯提供了时间背景,空间推理和判断任务是否完成. 来源:TwelveLabs
随着物理世界快速数字化,人工智能团队正在收集大量复杂的视频,但根据TwelveLabs Inc的说法,将原始录像转化为可操作的模型仍然是一个关键挑战.
我们的使命始终是通过视频帮助机器理解世界如何运作,TwelveLabs的联合创始人兼首席执行官Jae Lee表示. 物理AI是这一使命的下一个表达.人们对做身体工作所知道的大部分东西,如改变抓住或在某些东西滑落后恢复,从未以一种机器可以学习的方式捕获.
随着最新的模型发布,我们现在可以将这些镜头转化为结构化,可审查的知识,
创立于2021年,TwelveLabs表示它已经创建了使用其 马伦戈 和 佩加索斯 开发人员可以使用这个单一系统,随着时间的推移变得更智能, 公司.
佩加索斯1.6专注于自我中心的视频
12Labs表示,最新版本的Pegasus标志着其扩张. 在物理AI中该公司声称,它解决了特定工作流程的挑战,以便机器人,无人机和自动驾驶汽车等机器能够在物理世界中像以前一样感知,推理和安全地行动.
我们专注于视频理解层, The Robot Report你不能只是把数百万小时的视频输入到机器人模型中,并期望有用的训练数据出现在视频中.首先,你需要了解视频中发生了什么事,什么行动正在发生,什么时候发生,人与什么互动,随着时间的推移行为如何改变,以及其他人或旁观者何时出现视野.
佩加斯1.6提供了更精确的理解,以便机器人和数据团队将其转化为所需的培训数据.
TwelveLabs指出,Pegasus 1.6是其第一个 人工智能 建立以理解自我中心的模型 视频李说,这种模型不需要特定的摄像头. 李说, 李说, 李说, 李说, 李说, 李说, 李说, 李说, 李说, 李说, 李说, 李说, 李说,
我们不要求机器人团队使用特定的摄像头或专有硬件捕捉这些录像,他说.
此外,Pegasus 1.6可以与现有的视频数据一起工作,并允许除视频外对静态图像进行分析.
我们专注于自我中心的视频的一个原因是, 远程操作 目标是通过识别正在发生的行动,将它们分解成精确的时间段,并捕获有关行为的细节,使这些镜头对机器人团队更加有用.
头部安装的镜头可以打破在广播,教学和电影视频上训练的模型. 来源:TwelveLabs
12实验室支持五个工作流程
目前Pegasus 1.6支持其视频原生模型的五个工作流程.其中包括:
- 行动细分和标签: 这种功能通过自动生成精确的,时间标记的任务,步骤,对象和手对象互动的模型培训,从原始视频,映射到客户的域名特定类别.
- 密集标签标签: 这使机器人能够理解自然语言,通过为空间关系,场景背景和手对象互动产生丰富的描述性语言来训练先进的语言条件的机器人政策.
- 质量评分: 用户可以通过自动评估和评分低质量的视频来节省时间,
- 搜索和策划: 通过使用简单的自然语言搜索查询,客户可以通过发现罕见事件,长尾场景和在整个视频库中重复剪辑来发现关键边缘案例.
- 同意和合规性标志: 在视频录像进入下游开发管道之前,可以通过检测和标记面孔,旁观者以及敏感屏幕或纸质数据来保持隐私和合规性.
客户可以从现有能力中获益
佩加斯1.6基于TwelveLabs为维护大型视频库的企业开发的视频理解能力.
新版本扩大了Pegasus 1.5的功能,吸引了几名新客户.TwelveLabs引用了基于时间的元数据 (TBM),这允许用户定义自定义方案并自动从视频内容中接收时间标记,结构化元数据.这特别有助于帮助文本理解,因为人们经常在自我中心的剪辑中讲述他们正在做的事情.
根据TwelveLabs的说法,Pegasus 1.6还提高了对手,物体和工具的一致跟踪的实体识别.该模型还为高体积视频工作负载提供了更快,更高成本的处理.
李说,TwelveLabs系统将视频理解添加到其他 传感器 具体情况.
我们专注于了解我们可以在视频中观察到的行为,他说. 佩加斯1.6可以识别正在发生的行为,准确按时划分它,了解左手和右手正在做什么,以及周围环境如何发生变化.
我们也可以根据视频提供粗略的了解到肢体如何移动, 动机他补充说:"我们的作用是让机器人团队更深入地了解视频中的行为,他们可以与自己的传感器数据结合起来,以构建更精确的轨迹和学习政策.
12实验室表示,Pegasus 1.6扩大了与机器人开发商的现有合作.
我们正在与机器人实验室和数据团队合作,这些团队正在使用视频来帮助扩大机器人培训的数据. 包装, 集会， 和 打扫更多的目标是帮助这些团队制作更多的人类行为视频用于训练,比远程操控数据更可扩展.