为机器人安上“最强大脑”!谷歌VLA新模型泛化能力提升3倍 能“听懂人话”
2024-06-25 18:36:11
0

K图 GOOGL_0

K图 GOOG_0

  ①之前机器人经常无法操纵自己从未见过的东西,也难以实现“从‘灭绝的动物’到‘塑料恐龙’的逻辑飞跃”;

  ②作为一款新型视觉-语言-动作(VLA)模型,RT-2可以从网络、机器人数据中学习,并将这些知识转化为机器人控制的通用指令;

  ③RT-2具备三大能力:符号理解、推理和人类识别。

  一个单臂机器人“站”在桌前,桌上放着三个塑料动物玩具:狮子、鲸鱼与恐龙。收到“捡起灭绝的动物”指令后,这个机器人“思考”了一会儿,然后甚至机械臂,打开爪子,抓起了恐龙。

  这是谷歌最新一款机器人模型Robotic Transformer 2(机器人变形金刚2,RT-2)。

  上文这个“抓起恐龙”的动作对于人类而言轻而易举,对于机器人而言却堪称一个重要飞跃——之前机器人经常无法操纵自己从未见过的东西,也难以实现从“灭绝的动物”到“塑料恐龙”的逻辑飞跃。

  作为一款新型视觉-语言-动作(vision-language-action,VLA)模型,RT-2可以从网络、机器人数据中学习,并将这些知识转化为机器人控制的通用指令。

  相较于其他机器人研究,RT-2的核心优势在于,其不仅能直接接收“人话”指令,听懂“人话”、理解“人话”,还能做出相应推理,并转为机器人能理解的分阶段指令,从而做出动作完成任务。

  RT-2完成的每一项任务,都要求其理解视觉语义概念、并通过控制机器人实现操作这些概念。

  例如接到“捡起桌子上快掉下去的袋子”、“将香蕉移动到2加1的总和处”这种指令时,机器人需要对相应物体/场景执行任务,而这些物体与场景它从未在机器人数据中见过,需要从网络数据中转化得到相应知识。

image

  总体而言,RT-2具备三大能力:符号理解(Symbol understanding)、推理(Reasoning)和人类识别(Human recognition)。

  (1)符号理解是指RT-2可以从视觉语言预训练中转移了语义知识,而这些语义知识在机器人数据中并不存在。这类指令示例包括“将苹果移到3号位置”或“将可乐罐推到心形上”。

image

图|符号理解指令示例

  (2)推理则是将VLM的各种推理能力用于任务控制,包括视觉推理(“将苹果移到相同颜色的杯子里”)、数学推理(“将X移到2加1之和的附近”)、多语言理解(“mueve la manzana al vaso verde”,西班牙语)。

image

图|推理指令示例

  (3)人类识别是以人类为中心的理解和识别能力,RT-2可以完成“将可乐罐移到戴眼镜的人身边”这类任务。

image

图|人类识别指令示例

  此外,研究人员还将机器人控制与思维链推理相结合。首先用自然语言描述机器人即将采取的动作的目的,然后是“动作”和动作标记。

  例如在下图中,RT-2接收到的要求是“我想钉个钉子,场景里什么东西可能能用上?”,RT-2转化得出了“石头。动作:1 129 138 122 132 132 106 127”的指令,并拿起了石头。

image

  RT-2还能更好地适用于不同的、机器此前没见过的场景。比起在大型数据集上预训练的RT-1、Visual Cortex(VC-1)等模型,RT-2泛化能力大幅提高,较前者提高了3倍有余。

  加利福尼亚大学伯克利分校的机器人学教授Ken Goldberg表示,机器人的灵巧性仍达不到人类水平,在一些基本任务上也会失败,但谷歌利用人工智能语言模型,赋予机器人推理和随机应变的新技能,是一个很有希望的突破。

相关内容

为机器人安上“最强大脑”!...
  ①之前机器人经常无法操纵自己从未见过的东西,也难以实现“从‘灭...
2024-06-25 18:36:11

热门资讯

汽车业又曝丑闻!康明斯因排放作...   美国柴油发动机制造商康明斯上周被美国司法部处以16.75亿美元的罚款,创下美国历史上最大民事罚款...
盘点2023 展望2024 ...   2023年,贵金属价格在通货膨胀回落、全球经济走弱、美联储货币政策边际转鸽以及地缘政治的共同影响...
东安动力:公司产销规模较大的增...   每经AI快讯,有投资者在投资者互动平台提问:董秘你好,我是公司忠实投资者,可以详细的介绍一下咱们...
权威专家:无需担忧卖出国债影响... 央行卖出国债:对市场的影响和未来走向元描述: 本文深入探讨了央行近期宣布的卖出国债操作对市...
安徽广播影视职业技术学院 对接...   随着互联网技术的迅速发展,传媒业态发生了巨大变革。作为主要培养传媒行业人才的高校,安徽广播影视职...
万达的“阵痛”:股权冻结 出售... 万达资金链紧张:出售项目、股权冻结,600亿投资迟迟不到位?元描述: 万达资金链紧张,出售...
中证协拟进一步明确券商文化建设...   中国证券报记者日前从业内获悉,为贯彻落实中央金融工作会议要求,做好2023年度证券公司文化建设实...
湖南浩瀚汇通小贷公司被罚110...   中国网财经1月3日讯日前,湖南浩瀚汇通互联网小额贷款有限公司(简称“浩瀚汇通小贷”)因变相出借、...
国内商品期货开盘涨跌不一 20...   证券时报e公司讯,国内商品期货早盘开盘涨跌不一。20号胶(NR)涨超3%,橡胶涨近2%,菜粕、玻...
低空经济概念震荡走弱 天成自控...   低空经济概念震荡走弱,天成自控、中信海直跌超6%,金盾股份、王子新材、光洋股份、广联航空、万丰奥...