自 2023 年 1 月退出隐身模式以来,Figure 一直走在火热的上市道路上。到目前为止,公司一共发布了三个视频。两个最新视频展示了人形机器人 Figure 01 如何做家务(制作咖啡)和打工(搬运空箱)—— 在观察人类煮咖啡、搬运箱子的视频后,机器人学会了这些任务。
在 2 月 27 日的视频里,Figure 01 自主完成了一个典型的物流环节任务,搬运空箱。当然,速度还是比人类慢了很多,有待提升。目前,Figure 01 已经开始在宝马位于南卡罗来纳州斯帕坦堡的汽车工厂接受测试。
大家可能也注意到机器人身后有一条长长的线。目前,机器人身上摄像头的数据是在体外进行处理的,行动规划和控制是在躯干里的计算机上完成的。未来所有工作都会在躯干里的计算机上完成,机器人将是无绳的。也许你会好奇,如果突然把一个保龄球放进空箱子里会发生什么?机器人目前还不会对类似巨大的未知干扰做出反应,很可能会最终放下空箱,保持站立,并中止任务。
1 月 5 日的视频里,Figure 01 已经会做咖啡,完全自主实现。
制作过程中,Figure 01 能自主调整动作不准确的地方(左图部分),无需任何人为远程遥控。
2023年 10 月,Figure 发布了第一个有关 Figure 01 的视频,当时这台人形机器人花了 1 年的时间学会走路。没错,才 1 年时间,波士顿动力可是花了 20 来年。
两个最新视频的精华在于实现不同任务背后的通用方法。这些复杂、灵活的任务很难用传统编程方法实现,Figure 证明透过端到端的神经网络(输入视频、输出行动轨迹),机器人在经过数小时训练后就能掌握这个技能。虽然展示的只是做咖啡、搬运箱子,但可以轻松扩展到叠衣服、拾取物品等其他常见任务—— 只要获取到人类数据,就能端到端地训练机器人掌握整个技能。这与 1X EVE 、Digit 掌握新技能的路子是一样的。
另外,最新的两个视频中,Figure 01 都是完全自主地执行任务。所谓“完全自主”,是指只需将机器人放在地面上(无论放在屋里什么地方),在没有其他用户输入的情况下,直接按开始就行。在训练过的大型视觉语言模型( VLM )帮助下,人形机器人会先识别、定位目标箱子,然后推理合适的拿放姿势。接下来,Figure 01 会导航自己到目标跟前,检测抓取点和手部力量,尝试抓取成功并将箱子放到传送带上。
这些技术亮点也是 Figure 今天宣布融资消息的同时,也和一直希望回归机器人领域的 OpenAI 达成合作协议的重要因素——将 OpenAI 的研究与 Figure 的机器人经验结合起来,为人形机器人开发下一代 AI 模型。OpenAI 也希望将自己的高性能多模态大模型扩展到机器人领域。
谷歌 DeepMind 已经在做这方面的工作,Figure 正与 OpenAI 研究人员合作,将下一代多模态模型放到 Figure 机器人身上。期间涉及到的模型训练、存储、部署以及服务器等基础设施调用,将使用另一个投资人——微软的云服务。
“这项投资,加上我们与 OpenAI 和微软的合作,确保我们做好充分准备,将具身 AI 带入真实世界,对人类产生变革性影响," Figure 创始人兼 CEO Brett Adcock 说。目前,公司约有 80 人,一些员工来自波士顿动力、谷歌 DeepMind 和特斯拉。
Brett Adcock 是一名成功的连续创业者,号称“飞行出租车”先驱,2022 年低调创办了 Figure AI。创办之前,他曾到访加州理工学院 Aaron Ames 教授领导的机器人实验室 AMBER ,想听听这位顶尖双足机器人学家、也是波士顿动力创始人 Marc Raibert 的学生,对人形机器人商业化所面临挑战的看法。
后来,他又从从顶尖的人类和机器认知研究所 ( IHMC ) 挖来资深机器人学家 Jerry Pratt 担任公司 CTO,后者将 20 多年的人形机器人开发经验带到了公司。
2023 年 5 月,Figure AI 完成了 Parkway Venture Capital 领投的 7000 万美元融资,两个月后,英特尔又投了 900 万美元。不久就有了 Figure 01 会走路的视频。
通常,人们认为两条腿走路是最难的部分,这在十年前是正确的,但现在不是了。
创立公司之初,Brett Adcock 曾认为人形机器人的硬件发展要快于软件,训练机器人做家务会耽误将人形机器人推向市场的时间。但 ChatGPT 的出现改变了他的想法,我们可能会拥有能在机器人硬件上运行、反映真实世界的可靠的 AI。为此,公司需要可靠的硬件、庞大的训练集,并制作更多的机器人——机器人集群扩大后,它们就能从中收集更多数据,训练机器人获得更好的性能。
Figure 表示,他们将利用这笔新的融资“扩大 AI 训练、机器人制造、扩大工程人员数量和推进商业部署工作”。它们希望在 2024-2025 年将机器人推向市场。和 OpenAI 的合作将“通过增强人形机器人处理和推理语言的能力来帮助加速 Figure 的商业化进程”