《科创板日报》6月26日讯 日前,谷歌宣布推出“自家最强大的视觉-语言-动作(VLA)模型”Gemini Robotics On-Device,作为一款面向双臂机器人的通用基础模型,Gemini Robotics On-Device专为减少计算资源消耗而设计。
其具备通用灵巧操作能力和任务泛化能力,即支持灵巧操作任务的快速实验、可通过微调适应新任务,以提升性能。
更重要的是,这款模型可以完全在机器人设备本地离线运行。谷歌表示,由于运行时无需依赖数据网络,这一模型非常适用于对延迟敏感的应用场景,并能在网络连接不稳定甚至完全中断的环境中稳定运行——换言之,即使是在完全断网的情况下,搭载这款模型的机器人设备也能做到“看得见、听得懂、做得了”。
Gemini Robotics On-Device在多种测试场景中实现了强大的视觉、语义和行为泛化能力,能理解自然语言指令,并完成拉开拉链、折叠衣物等高灵巧度任务。
除了离线运行之外,Gemini Robotics On-Device的另一大亮点便是“能微调”。
十几年前安卓系统正式面世,提供了高度开放的架构,让开发者和厂商们定制系统。如果说安卓系统是“让手机更懂用户”,那么谷歌这次的Gemini Robotics On-Device就是“让机器人更懂任务”。
Gemini Robotics On-Device模型是谷歌首个对外开放可供微调的VLA模型,开发者可以选择对该模型进行适配,以提升具体应用场景中的性能。据谷歌介绍,Gemini Robotics On-Device可快速适应新任务,仅需50-100个示范样本即可显示出良好的泛化能力。
谷歌在七个不同难度级别的灵巧操作任务中测试了该模型,包括拉上便当盒拉链、抽卡和倒沙拉酱等操作。
图|Gemini Robotics On-Device任务适应性能
并且,谷歌还将Gemini Robotics On-Device模型适配到了Franka FR3双臂机器人和Apollo人形机器人等不同的机器人实体上。
在双臂 Franka 机器人上,该模型可以执行通用指令,包括处理以前未见过的物体和场景、完成折叠衣服等灵巧任务,或执行需要高精确度和灵巧性的工业传送带组装任务。
在Apollo人形机器人上,谷歌对该模型进行了适应性调整,以适配显著不同的实体形态。
(科创板日报)