深圳：2023年集成电路产业收入预计突破2000亿元
06-06
高级机器人专家Eric Jang不久前预言：“ChatGPT一夜之间就出现了。
我想聪明人机器人也会如此。
” ”他可能是对的。
北京时间3月13日深夜，一段人形机器人的视频开始在X上流传。
此前从未展示过机器人定向能力的OpenAI，与投资公司人形机器人合作，首次展示了自己的机器人智能能力。
机器人。
OpenAI投资的机器人公司Figure上传了这段视频。
视频中，Figure的人形机器人可以完全流利地与人类交流，理解人类的意图，还可以理解人类自然语言指令进行抓取和放置，并解释它为什么要做它所做的事情。
而其背后，则是OpenAI配置的智能大脑。
OpenAI、Figure机器人演示视频 |来源：Figure 在过去一年的具身智能进展中，你可能见过类似的机器人自主决策、抓取物体的演示，但在这段视频中，Figure的人形机器人对话的流畅性、所展现的智能感以及接近人类操作速度的动作流畅度绝对是一流的。
Figure还特别强调，整个视频是一次拍摄的，没有任何加速或剪辑。
与此同时，机器人的行为完全自主，无需任何远程控制——这似乎是对前段时间爆火的斯坦福烹饪机器人的微妙讽刺，展示了其很酷的机械能力，但没有多少智能。
比机器人的智能表现更可怕的是，这只是OpenAI小测试的结果——从OpenAI宣布将与Figure合作推进人形机器人前沿到这段视频发布，只有短短的十三天。
。
Figure这次的人形机器人背后的智能来自于端到端的大语言视觉模型，这是目前具身智能领域非常前沿的领域。
去年，极客公园报道了谷歌在类似领域的进展。
谷歌创建的端到端机器人控制模型被业内人士誉为大型机器人模型的GPT-3时刻。
当时谷歌的机器人模型只能基于对话进行一些爬行，无法与人类对话，也无法向人类解释它为什么这么做。
谷歌本身从Everyday Robotics开始，就拥有超过五年的机器人研究经验。
而Figure本身创立于 。
从OpenAI宣布与他们合作至今仅13天，到今天他们共同推出了一款能够自主对话和决策的机器人。
机器人智能化发展明显加速。
在端到端大型模型的驱动下，机器人的速度接近人类的速度。
Figure创始人布雷特·阿德考克（Brett Adcock）和AI团队负责人科里·林奇（Corey Lynch）解释了X上发布的这段视频背后的原理。
这一突破是OpenAI和Figure共同做出的。
OpenAI提供视觉推理和语言理解，而Figure的神经网络提供快速、低级、灵巧的机器人动作。
机器人执行的所有动作都是由于学习和内化的能力，而不是远程操作。
研究人员将机器人摄像头输入的图像和机载麦克风捕获的语音文本转录到由OpenAI训练的多模态模型（VLM）中，该模型可以理解图像和文本，从而处理整个对话历史。
记录、得出口头响应，然后通过文本转语音将其发送回人类。
同一模型还负责决定在机器人上运行哪些学习的闭环行为来完成给定的命令，将特定的神经网络权重加载到 GPU 上并执行策略。
这就是为什么这个机器人属于“端到端”机器人控制。
从语言输入开始，模型接管所有处理，直接输出语言和行为结果，而不需要中间输出一些结果，然后加载其他链接来处理这些结果。
Figure的机载摄像头以 10hz 的频率捕捉图像，然后神经网络输出 24hz 自由度的运动。
Figure创始人提到，这意味着机器人的速度得到了显着提升，开始接近人类的速度。
图片来源：Corey Lynch 的《做出决策时使用常识推理》。
例如，“桌子上的盘子、杯子等餐具接下来很可能会进入晾衣架”。
将模糊的高级请求（例如“我饿了”）转换为适合上下文的操作，例如“递给某人一个苹果”。
用简单的英语描述“为什么”它执行特定操作。
例如，“这是我可以从餐桌上为您提供的唯一可食用的物品。
”该模型强大的能力使其还具有短期记忆。
例如视频中所示“你能把它们放在那里吗？” “他们”指的是什么？那是哪里”？正确的答案需要反思记忆的能力。
具体的双手动作可以分两步来理解：首先，互联网预训练模型对图像和文本进行常识推理，得出高层计划。
正如视频所示：Figure的人形机器人很快形成了两个计划：1）将杯子放在碗碟架上，2）将盘子放在碗碟架上。
其次，大型模型以赫兹频率生成的 24 自由度运动（手腕姿势和手指关节角度）可用作高速全身控制器跟踪的高速“设定点”。
全身控制器可确保安全、稳定的动态，例如保持平衡。
所有行为均由神经网络视觉运动变压器策略驱动，该策略将像素直接映射到动作。
从ChatGPT到Sora再到机器人，OpenAI想要接手“智能”这个东西。
今年夏天，OpenAI悄悄关闭了其机器人团队。
当时，由于缺乏对机器人使用人工智能的培训，OpenAI宣布无限期结束在机器人领域的探索。
智能运动和推理所需的数据阻碍了研发。
但显然，OpenAI并没有放弃对这一领域的关注。
今年 3 月，也就是一年前，极客公园报道称，OpenAI投资了挪威机器人制造商 1X Technologies。
它的副总裁是我在文章开头提到的 Eric Jang，他相信具身智能将会突然到来。
无独有偶，1X Technologies的技术方向也是机器人的端到端神经网络控制。
今年3月初，OpenAI等投资人参与了Figure的B轮融资，使其成立两年后估值达到26亿美元。
也正是在本轮融资之后，OpenAI宣布与Figure合作。
Figure的创始人布雷特·阿德考克（Brett Adcock）是一位“善于架构”的连续创业者。
他在整个职业生涯中创立了至少7家公司，其中一家上市估值为27亿美元，另一家被以1.1亿美元收购。
创建公司后，他聘请研究科学家杰里·普拉特（Jerry Pratt）担任首席技术官，聘请前波士顿动力/苹果工程师迈克尔·罗斯（Michael Rose）担任机器人控制总监。
此次分享的AI团队负责人Corey Lynch原本是谷歌Deepmind的AI研究员。
Figure宣布招募电机、固件、热能、电子产品、中间件操作系统、电池系统、执行器传感器、机械结构等领域的硬核设计人才。
公司确实在快速进步。
在与OpenAI合作之前，已经取得了很多成就。
今年1月，Figure01（Figure的第一个人形机器人）学会了煮咖啡。
该公司表示，这背后引入了端到端的神经网络，机器人学会了纠正自己的错误，训练时间为10个小时。
Figure01引入AI学习煮咖啡|图片来源：Figure 今年 2 月，该公司展示了Figure 01 的最新进展。
视频中，机器人已经学会搬运箱子并将其运送到传送带上，但速度仅为人类的 16.7%。
即使在商业化方面，也迈出了第一步：Figure宣布与宝马制造公司签署商业协议，将人工智能和机器人技术融入汽车生产，并部署在宝马位于南卡罗来纳州斯帕坦堡的制造工厂。
。
在今天的视频演示推文中，Figure宣布他的目标是训练一个世界模型，并最终能够销售十亿级模型驱动的人形机器人。
不过，虽然OpenAI与Figure的合作进展顺利，但OpenAI似乎并不是把赌注押在了一家机器人公司上。
北京时间3月13日，由谷歌研究团队的研究人员、加州大学伯克利分校和斯坦福大学的教授组成的新成立的机器人AI公司Physical Intelligence被彭博社报道获得OpenAI的融资。
毫不奇怪，该公司还在研究未来可以成为通用机器人系统的人工智能。
长期押注于机器人领域，13天的合作打造出领先的大型机器人模型。
OpenAI在机器人领域的意图备受关注。
智能人形机器人的未来不仅仅取决于马斯克。
#阿里云#创新创业#创业支持#创业资讯我们关注国内外最热门的创新创业动态，提供一站式资讯服务，实时传递行业热点新闻、深度评论和前瞻观点帮助企业家掌握新兴技术。
趋势和行业变化，以及对未来技术趋势的洞察。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-08
06-17
06-18
06-18
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态