苹果披露人形机器人 HALO 系统：6 个未建图环境测试 360 次单项任务，平均成功率 91%

AI 总结
• 苹果研究团队于11月4日在arXiv提交论文，披露人形机器人自主控制系统HALO，并公开数据生成、模型训练和部署代码。
• 系统采用宇树科技G1人形机器人，背部加装3D打印保护外壳并内置Mac mini（M4 Pro芯片，64GB统一内存）负责实时推理，G1板载芯片专注高频动作跟踪。
• HALO采用三层协同架构：视觉语言模型（默认Qwen3.6-35B-A3B）负责任务编排，Qwen3.5-2B生成动作，强化学习训练的动作跟踪器以每秒50次频率运行。
• 在6个未预先扫描或建图的真实环境中完成360次单项任务测试，平均成功率为91%；长序列复合任务中3种组合平均成功率70%，最复杂的“俯身通过障碍—走向目标—推箱子”成功率为50%。
• 研究团队指出机器人目前依赖视觉感知，难以直接感知接触情况，加入触觉感知是后续改进方向之一。

IT之家 11 月 7 日消息，当地时间 11 月 4 日，苹果研究团队在预印本平台 arXiv 提交论文《Perceptive Humanoid Motion from Simulation》，披露了人形机器人自主控制系统 HALO。



研究团队还公开了数据生成、模型训练和部署代码，涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。



在落地阶段， 研究团队采用宇树科技 G1 人形机器人 ，背部加装了专用 3D 打印保护外壳， 内置一台 Mac mini （M4 Pro 芯片，64GB 统一内存），Mac mini 负责在机载端实时推理计算开销较大的 Orchestrator（VLM）与 Motion Generator（DiT）；

G1 自带的板载芯片则专注高频运行 Tracker（RL 策略网络）。

执行任务时，HALO 由三个层级协同控制。

最上层是基于视觉语言模型（VLM）的任务编排模块，默认采用千问 Qwen3.6-35B-A3B，系统也可选择通过 API 调用云端模型；

中间的动作生成层采用另一款千问模型 Qwen3.5-2B；

底层则是经强化学习、策略蒸馏等步骤训练的动作跟踪器，以每秒 50 次的频率运行。

据论文披露， 研究团队在 6 个未预先扫描或建图的真实环境中开展 360 次单项任务测试，平均成功率为 91% 。

针对长序列复合任务，在单一真实场景，各进行 10 次测试，3 种组合平均成功率为 70%；其中最复杂的“俯身通过障碍 — 走向目标 — 推箱子”10 次测试成功 5 次，成功率为 50%。

据介绍，研究团队使用 250 张英伟达 H100 GPU，耗时约 48 小时合成主要训练数据。动作生成器通过模仿学习训练，使用 64 张 B200；动作跟踪器经强化学习、策略蒸馏等步骤训练，使用 4 张 H100。



不过，仿真生成数据并未完全摆脱人工参与。团队表示新增物理任务仍需人工编写提示词、设计动作关键帧，部分动作还使用了人类视频或动捕素材。

研究团队同时指出，目前机器人主要依赖视觉感知，难以直接感知接触情况；当物体离开相机视野或被遮挡时，涉及较多接触的任务表现会下降。加入触觉感知将是后续改进方向之一。

IT之家附相关链接：

•

论文： https://arxiv.org/abs/2611.06908

•

项目主页： https://apple-aiml-research.github.io/ml-halo/

•

GitHub 仓库： https://github.com/apple-aiml-research/ml-halo

[来源链接] https://www.ithome.com/1/023/767.htm