斯坦福开源的家用机器人!Transformer 架构驱动,由华人开发!-轻识

大数据文摘出品
在科技领域，时不时就会出现一项突破性的成果，彻底重塑我们对可能性的认知。近日，斯坦福大学、伯克利大学和谷歌 DeepMind 团队合作推出一款家用机器人，名为"Mobile ALOHA"。乍一看，"Mobile ALOHA" 似乎只是一个普通的家庭助理，但很快你就会发现它的功能远不止于此。这款 AI 能够执行广泛的家务任务。

洗衣与清洁：从分类到洗涤甚至折叠，"Mobile ALOHA" 可以进行衣物洗涤。不仅如此，它还配备有吸尘功能，能确保房间始终干净整洁。

园艺帮助：它通过浇水等方法减轻了日常园艺工作的负担，‍以及可以帮助处理‍‍垃圾‍。‍‍ 宠物护理：令人惊讶的是，"Mobile ALOHA" 还能与宠物互动和玩耍，为自动化宠物喂养增添了新的维度。目前这个机器人已经可以购买，且其软件是开源的。‍ ‍ Mobile ALOHA：解放家务双手 这款机器人的名字叫 Mobile ALOHA，研究团队来自斯坦福，由三个人共同打造完成。

论文地址： https://mobile-aloha.github.io/resources/mobile-aloha.pdf 项目地址： https://mobile-aloha.github.io/ 技术文档： https://docs.google.com/document/d/1_3yhWjodSNNYlpxkRCPIlvIAaQ76Nqk2wsqhnEVM6Dc/edit 其中，Zipeng Fu 为项目共同负责人，他是斯坦福大学 AI 实验室的计算机科学博士生，师从 Chelsea Finn 教授；Tony Z. Zhao 也是斯坦福大学的计算机科学博士生，导师也是 Chelsea Finn。他们三个人共同完成了这项研究。 Mobile ALOHA的形态是一个轮式小型机器人，大小类似于亚马逊 Alexa 设备。它配备了摄像头、麦克风和扬声器，可以看见、听到并与用户沟通。Mobile ALOHA最独特的特点是其移动性——它能够利用先进的计算机视觉能力自主导航室内环境。 Mobile ALOHA 一个关键创新是谷歌在机器人导航和地图方面的进步。 Mobile ALOHA能够使用摄像头和传感器识别家具、物体和墙壁，从而构建室内空间的动态地图。它能够在地图中定位自己，并规划最优路径进行导航。机器学习使得机器人能够随着时间的推移，在收集更多感知数据后，改进其地图和导航能力。其实，这款机器人最吸引人的特点之一是它的双重操作模式。它可以手动操作：支持复杂的远程控制进行操作，提供精准的操控性和任务执行能力。自动功能：或许最具突破性的功能是它的自主操作能力，经过大约 50 次训练演示后，机器人能够独立执行复杂任务，包括使用电梯和烹饪。

在技术细节上，Mobile ALOHA 继承了原始 ALOHA 系统的优点，即低成本、灵巧、可维修的双臂远程操作装置，同时将其功能扩展到桌面操作之外。在模仿学习方面，Mobile ALOHA 利用了 Transformer（大型语言模型中使用的架构）。最初的 ALOHA 系统使用了一种名为 Action Chunking with Transformers (ACT) 的架构，它将来自多个视点和关节位置的图像作为输入并预测一系列动作。另外，得益于生成模型的成功，MobileAloha 可以快速从人类演示中学习，而且它可以只通过 50 次的演示就能学会一件事，合作训练可以提高成功率高达 90%。

生成式 AI 与机器人技术中的未来

Mobile ALOHA机器人的优秀性能，离不开目前一些大模型关键技术的加持。具了解生成式 AI 在具身 AI 和机器人研究中扮演两个独特角色：

1.数据/经验生成器：生成 2D 图像、视频、3D 场景或 4D（3D + 时间）等训练机器人所需的语料。鉴于现实世界中的机器人经验（数据）极为珍贵，生成式 AI可以被视作“学习型模拟器”。我坚信，没有模拟的训练和测试，机器人研究是无法大规模进行的。

2.自监督学习架构：生成机器人未来可能观察到的感官数据，与实际观测进行比较，作为一种无需标注的学习信号。

机器人学家还发现，大型的视觉-语言-动作模型可以被训练用来增强机器人的感知能力，并控制其手臂和腿部的动作。目前生成式AI 对机器人技术的各个领域，从模拟到设计，都将产生革命性的影响。例如：模拟：模型将通过构建场景、创建环境和生成资产来加速模拟开发，缩小 3D 技术艺术家和开发者之间的差距。生成式AI 生成的资产将被广泛应用于数据合成、机器人技能训练和软件测试。
多模态人工智能：基于 Transformer 的模型将提升机器人理解其周围世界的能力，使它们能在更多的环境中工作，并完成更复杂的任务。
机器人（重新）编程：机器人将具备更强大的能力来用简单的语言定义任务和功能，使它们变得更加通用和多用途。
设计：创新的机械设计将提升效率，例如在末端执行器的设计上。

Mobile ALOHA的出现无疑给家务机器人市场注入了一剂强心针，虽然现在还不完善，但正如加州大学伯克利分校的Ken所言，家务机器人的市场是广阔且必须：“我预计，未来十年中，我们将看到更多负担得起的家用机器人，它们能够协助我们进行日常整理，比如捡起地上的衣服、玩具和垃圾，并将其放置到指定位置。正如现代的吸尘器，尽管这些机器人可能偶尔会出错，但它们将为家庭提供的便利，尤其是对于父母和老年人，将大大超过它们的局限性。”

租！GPU云资源 新上线一批A100/A800 运营商机房，服务有保障

扫码了解详情☝

点「在看」的人都变好看了哦！