本报将由Serve Robotics专业企业 (主要) 罗伊根· 박성기代表的'0) 机器人面临的两个世界 - - 物理AI和社会AI'主题,由总共9次发布为系列: (1) 通过可行的行为适当的行为, (2) 无法被数据捕获的社会正确答案, (3) 良好的句子和良好的判断, (4) 如何绘制不见的社会, (5) 通过行为模特超越规范学习, (6) 失败率, (7) 从审稿到现实, (8) 提出的判断书.
机器人转移了100次,95次成功,没有碰撞.这是一个好机器人.
技术上可以说是这样的,但如果现场护士每次在夜间工作时都关掉机器人的电源,情况就会有所不同.如果前五位讨论了社会人工智能是什么,为什么难以做到这一点,那么这个问题是:如何衡量这种能力?
这个问题不是单一的方法论的问题.无法测量的能力很难开发. 具体来说,反复改进,比较和验证是困难的.如果不能定义目标为指标,研究团队就不知道什么要优化,企业很难解释什么比竞争对手更好,发射场所不知道什么标准要检查.
医院的数字和开关
试点业务3个月,中期报告上升.物物传输业务成功率为95.2%. 碰撞事故为0.1个平均运营时间目标实现.指标显示,这项业务是成功的.
但在同一周,夜间工作的护士之间出现了沉默的协议.晚上将R的电源关闭.如果你问原因,答案是非常简单的.
百分之九十五的成功率和肥胖的机器人在一个医院中共存.看起来像矛盾,但不是矛盾. 我们的库存与现场的情况不同.报告指出机器人是否移动了物品,护士承担了与机器人一起工作的费用.
什么要做:五层次的评价
传统的机器人指标,如精度,速度,过度工作成功率,碰撞率,压力下降率,故障频率,仍然是必要的.问题是,这不够了.这些指标主要衡量机器人本身的性能.在社交AI中,重要的是与人类在一起的性能.评估目标也必须根据其扩展.
一,社会认知是意识到现在需要与谁互动的能力. 必须能够区分自己说的话和不说的话,捕捉人的拒绝或不适的信号.
第二,社会推理是个人的角色和权力,对彼此的目标进行区分的能力.
3 社交行为是决定何时接近,何时接近,何时说话,何时退出的能力.多人的要求发生冲突时,包括什么要优先考虑.
4 恢复能力是意识到自己犯了错误并停止的能力.如果需要的话,解释,道歉,再试一次,如果问题超出了自己的能力,应该能把它交给别人.
5 长期影响力:随着时间的推移,评估人员的干预负担是否会减少,信任是否会根据实际能力形成,组织的工作流程是否会真正改善.
其中最重要的是第四个,恢复能力.社会意识和推理不能完美.人们彼此误解彼此的意图和情感.那么,现实目标不是消除所有错误.当错误发生时,重要的是如何快速发现它,不培养损害,适当地学习.比完美意识更好的恢复是现实目标.
如何做:四个步骤和危险程度
如果你已经确定了要测量什么,那么问题就在于如何测量. 评估可以分为四个阶段.
一阶段是单一能力测试.测量视觉估计,发射对象识别,拒绝识别等个别能力.
第二阶段是场景测试:两个人的要求冲突,命令模糊,规范和任务发生冲突的情况故意制造,测试机器人的判断和失败恢复能力.
第三阶段是长期互动测试. 它不是几天,而是几周的时间里跟踪人类与机器人的关系和行为如何变化. 因为第一天感觉很亲密的行为可能会在一个月后成为令人不安的干扰.
第四阶段是实际现场评估. 除了实验室之外,测量了实际组织工作中的人类干预率,监督负担,民事,工作干扰,停机等.
这里必须添加一个原则:不要把所有的错误都列为相同的1.错误错过了招呼时间和在医院大声说病人的错误不是同一个错误.不仅需要考虑发生频率,还需要考虑损害大小的风险基础评估.即使很少发生,如果损害是致命的,也不能隐藏在平均成功率后.
但主观性不是为了放弃测量,而是为了设计更精致的测量方法.用户,现场管理者,第三方评价者的观点必须被分别收集和收集,而评价者之间的意见不一致也应该被留在数据中.不仅仅看待简单的平均值,还必须单独看待少数评价者重复指出的风险.因为每个人不同感觉的事实本身是社会AI必须处理的现实.
这一问题并不是个人的问题.美国标准技术研究院 (NIST) 和HRI (HumanRobot Interaction) 的研究长期以来一直把统一的测量标准和验证系统缺乏作为重要问题.每项研究使用自制的调查和评估工具时,很难对研究结果进行比较或重复验证.实验越来越有色,现场应用无法追随这一速度的原因之一就是在这里.
我们可以从明天开始.
那么,真正的机器人实验业务应该是什么? 不需要等待一个巨大的新评估系统完成.
□ 人类干预率 每个操作小时每个人修改或练习机器人的行为
□ 无需干预率 无需机器人的行为或工作中干预率
□ 失权率 没有权力执行指令或错误拒绝正确指令的比例
□ 拒绝信号缺失率
□ 确定性保证 判断在不确定情况下是否选择了正确的检查,保险和人数系统
□ 有关性 需要人的判断,实际上有关的比例与无关的比例
□ 失败恢复成功率 错误发生后没有额外的损害自学或适当的接收率
□ 社交干扰时间 人类工作或互动被机器人断的总时间
□信任能力差距 用户识别的机器人的能力与实际测量的能力之间的差距
□ 管理员监督时间 机器人正常运行的观察时间
需要注意这些指标的性质.人类干预率和监督时间最终转化为运营人力成本.失败恢复能力决定了运营率.信任和实际性能的差距回归为事故风险.
预期的反驳:如何把社会性作为一个分数?
在这里,人们自然会产生反:社会行为太依赖于情况,医院,商店,家庭都是不同的,但可以有共同的基准吗?
正确的明确.将所有社会能力归还为一个分点的基准是不可能的,也不需要这样做. 相反,我们可以分类评估结构.在多个环境中,如拒绝认识,权力分离,不确定性纠正,失败恢复等,共同需要的能力被衡量为共同的核心能力.此外,就像医院,仓库,家庭一样,每个环境都将添加不同的域分情景评估.
如果考虑自动驾驶,就很容易理解.自动驾驶汽车也不会以一个分数评价所有车的道路上如何运行车.它确定了车辆设计的条件范围,即运行系统区域 (ODD) 并且验证了车辆的性能,就像高速公路还是城市,什么天气和交通状况.
社会人工智能也需要类似的结构:不要试图一次检查所有理解人类关系的机器人,而是检查共同的社会能力和实际使用环境的条件.
结论是:更好的模型,而不是更大的模型.
简而言之,社会AI的下一个进步不仅仅是更大的模型,更好的测量.不测量的能力很难系统地改进,不验证的能力很难在现场上得到信任.硬件和巨大的AI模型的竞争已经带来了巨大的资本和众多企业.而机器人的社会性能的扎还没有赢家可以称之为行业标准. 这里有重要机会.
那么,下一个问题是自然的:如何内部构建一个能够通过五层次的能力和十个标志的机器人?如何将一个对话模型连接到机器人?否则更需要什么? 下一个问题进入了这个系列中最具技术性的问题:如何将物理AI和社会人工智能结合在实际机器人中.