苹果 研究团队近日公开人形机器人自主控制系统HALO的最新研究成果，通过视觉语言模型（VLM）与动作生成技术，让机器人不只能理解人类指令，还能依据陌生环境调整动作，自主完成推箱子、坐椅子及穿越障碍物等任务。
研究团队近日在预印本平台arXiv发表论文《Perceptive Humanoid Motion from Simulation》，介绍HALO系统的设计与实验成果，并将系统部署在宇树科技(688836-CN) 的G1人形机器人上进行验证。
研究重点在于让机器人将模拟环境中学到的动作，应用于未曾事先扫描或建图的真实空间，降低机器人对特定环境的依赖。
根据研究团队公开的展示影片，搭载HALO的G1机器人能依照指令推动箱子、跟随人类、坐上椅子，也能侧身穿过半开的门，或弯腰、爬行通过桌子下方。这些动作不只是预先设定好的路径，还涉及环境辨识、空间判断，以及依照障碍物调整身体姿态。
HALO采三层架构控制机器人 从理解指令到执行动作
HALO的核心设计是将机器人的控制流程拆分为任务编排、动作生成与动作追踪三个层级，分别处理指令理解、全身动作规划及实际关节控制。
最上层的任务编排模组采用视觉语言模型，预设使用阿里巴巴的Qwen3.6-35B-A3B，并在机器人搭载的Mac mini上本地运行，无须连接网络即可处理任务。系统也支持通过API呼叫云模型，以取得更强的推理与规划能力。
这个模组负责理解人类指令，并结合机器人视角的图像判断如何完成任务。例如，当收到“坐下”的指令时，机器人必须先辨识周遭环境，决定适合坐下的位置；若接获“坐到椅子上”的指令，但前往椅子的路径受到桌子阻挡，就必须将任务拆解为弯腰通过障碍、接近椅子及坐下等连续动作。
任务执行期间，模组也会持续通过机器人视角的影片确认动作是否成功，再决定推进下一个步骤或重新尝试，每次仅向下一层下达一项明确的子任务。
中间层的动作生成模组则使用另一款模型Qwen3.5-2B，搭配负责生成动作的DiT解码器，根据环境画面与当前任务，规划未来约5秒的全身动作。系统每秒重新规划约3次，让机器人能随着环境变化持续修正动作。
最底层的动作追踪器经过强化学习与策略蒸馏等程序训练，以每秒50次的频率运作，结合深度影像与机器人自身状态，将上层规划的动作转换为实际关节控制指令。
6种陌生环境测试成功率91% 复合任务仍有改善空间
在实际测试方面，研究团队选择6个未经事先扫描或建图的真实环境，进行360次单项任务测试，平均成功率达91%。
不过，当任务涉及多个连续动作时，系统的表现仍有落差。研究团队另外在单一真实环境中，针对3种复合任务各进行10次测试，平均成功率为70%。
其中，“弯腰通过障碍物、走向目标、推动箱子”这项连续任务的成功率仅50%，显示机器人处理多步骤动作时仍面临挑战。
为了训练机器人适应不同环境，研究团队建立一套大规模合成资料生成流程，在1,000个程序生成的模拟家庭环境中，制作约300小时的主要训练资料，将机器人看到的画面、接收的指令及对应动作配对。
数据生成流程分为几个阶段：首先依照文字指令产生动作序列，再将动作放入虚拟房间，最后通过模拟工具渲染机器人执行任务时看到的画面。
以“坐到扶手椅上”为例，系统会先将任务拆解为向前行走、转身及坐下等动作片段，再由动作生成模型根据文字提示、路径点与关键姿态产生动作序列，并通过几何检查筛选结果，降低脚部滑动或身体穿入地面等不合理动作。
接着，研究团队将动作安排在不同的虚拟房间，检查机器人与家具之间的位置关系，排除可能发生碰撞的配置，再渲染机器人视角的画面。训练过程也会调整光线、色调及影像模糊程度，增加视觉资料的多样性，让同一套流程能产生完整的指令、影像与全身动作训练资料。
在计算资源方面，研究团队使用250张英伟达H100 GPU，耗时约48小时完成主要训练资料的合成；动作生成器采用模仿学习训练，使用64张B200 GPU；动作追踪器则通过强化学习、策略蒸馏等方式训练，使用4张H100 GPU。
仍仰赖人工设计 触觉感知成下一步改进方向
不过，HALO目前仍未完全摆脱人工参与。研究团队指出，新增物理任务时，仍须由人员编写提示词、设计动作关键影格，部分动作也需要使用人类影片或动作捕捉素材。
此外，现阶段系统主要依赖视觉感知，尚难以直接掌握接触状态。当物体离开摄影机视野或遭到遮挡时，涉及较多身体接触的任务，执行表现便会下降。
研究团队将触觉感知列为后续改进方向，希望进一步提升机器人在复杂环境中的动作控制能力。
