用 Isaac Lab 训练 Microduck：从仿真到真机部署的完整流程

2026-10-23 12:50 0 阅读

为什么要在仿真里练走路

让双足机器人在现实世界里走稳，从来不是件容易事。现实中的伺服电机有延迟，齿轮箱有空程（backlash），地面摩擦系数也不均匀。如果直接在真机上试错，不仅效率低，还容易摔坏硬件。

NVIDIA Isaac Lab 3.0 提供了一套基于 GPU 并行计算的仿真框架，配合 Newton 物理引擎，可以在虚拟环境中模拟出这些“不完美”的物理特性。Pollen Robotics 和 Hugging Face 推出的开源双足机器人 Microduck，正是这一工作流的典型受益者。通过在高保真仿真中训练策略，导出为 ONNX格式，再部署到实体机器人上，开发者可以大幅缩短研发周期。

这篇指南将拆解整个流程：从安装环境、理解任务配置，到加速训练、模型导出，最后如何在真机上跑起来。即使你手头没有 Microduck，也可以先在仿真里把策略练好，上传到 Hugging Face Hub 分享，或者在 Microduck Arena 里和其他人的模型比比谁走得更稳。

准备工作：环境与依赖

要运行这套仿真训练流程，你需要一台配备支持 CUDA 的 NVIDIA GPU 的 Linux 工作站。驱动版本需符合 Isaac Lab 的要求。此外，还需要安装 Git 和 uv（一个快速的 Python 包管理器）。

如果你打算最终在真机上测试，当然还得有一台配置好的 Microduck 机器人，确保其 onboard 软件已安装且能正常通信，最好再配个游戏手柄方便调试。

快速安装 Isaac Lab

在终端中执行以下命令，安装 uv 并克隆 Isaac Lab 代码库：

curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
git clone --branch develop https://github.com/isaac-sim/IsaacLab.git
cd IsaacLab
uv sync

安装完成后，可以检查 Microduck 相关的任务是否已就绪：

uv run isaaclab list_envs --keyword MicroDuck --show_presets

如果能看到相关输出，说明环境配置没问题，可以进入下一步。

理解 Microduck 的仿真环境

Isaac Lab 已经内置了 Microduck 的机器人模型、场景描述、观测空间、动作空间、奖励函数以及域随机化（Domain Randomization）配置。对于初学者，建议从平坦地面上的行走任务入手；进阶用户则可以挑战包含楼梯、斜坡和不平整地面的复杂地形。

策略网络接收 61 维的观测值，输出 14 个关节的目标位置。这里有个关键点：在导出模型和部署到真机时，必须保持观测值的顺序、归一化参数以及动作缩放比例与训练时完全一致。任何细微的偏差都可能导致机器人在真机上行为异常甚至摔倒。具体的配置细节可以在 Isaac Lab 源码中的 flat_env_cfg.py 文件里找到。

加速训练：GPU 并行与物理建模

Isaac Lab 的核心优势在于利用 GPU 并行运行成千上万个仿真环境。这意味着原本需要几天才能完成的训练，现在可能几小时就能搞定。如果有多张 GPU，还可以进行分布式训练，进一步提速并提高策略的鲁棒性。在开启粗糙地形和齿轮空程模拟的情况下，系统每秒可处理高达 125 万步的训练数据。

更真实的物理模拟：Newton 与 BAM

为了让仿真更接近现实，教程使用了 Newton 物理引擎及其 MJWarp 求解器，并引入了基于 Newton 的更好执行器模型（Better Actuator Models, BAM）。BAM 能够模拟固件控制器、电机电流限制、摩擦力以及延迟，将位置目标转化为更真实的伺服扭矩。

此外，域随机化是 Sim-to-Real 成功的关键。在训练中，系统会对每个虚拟 Microduck 的质量、质心、地面摩擦、关节惯性、编码器偏移、电池电压及命令延迟进行随机化处理。还会施加随机推力，并针对每个关节独立模拟不同程度的齿轮空程。这种“混乱”的训练环境迫使策略学会适应各种不确定性，从而在真机上表现得更稳健。

启动粗糙地形训练的命令行如下：

uv run isaaclab train \
  --rl_library rsl_rl \
  --task IsaacContrib-Velocity-Rough-MicroDuck \
  --num_envs 4096 \
  presets=backlash

如果想先练练平地行走，可以把任务名换成 IsaacContrib-Velocity-Flat-MicroDuck。

评估策略并导出 ONNX 模型

训练结束后，需要在仿真中评估策略效果，并将其导出为 ONNX 格式，以便在资源受限的嵌入式设备上运行。

可视化评估

使用以下命令加载最新检查点，并在 Newton 可视化器中观察机器人的表现：

uv run isaaclab play \
  --rl_library rsl_rl \
  --task IsaacContrib-Velocity-Rough-MicroDuck \
  --checkpoint latest \
  --num_envs 16 \
  --viz newton_gl \
  presets=backlash

如果机器人能在虚拟的不平地面上走得平稳，说明策略大概率是可行的。

导出模型

Isaac Lab 的 RSL-RL 回放工作流会自动导出 TorchScript (.pt) 和 ONNX (.onnx) 两种格式的文件。对于 Microduck 的真机部署，我们需要的是 policy.onnx。这些文件通常保存在运行目录下的 exported/ 文件夹中。

务必记住：真机运行时使用的观测值预处理逻辑，必须与训练时完全一致。

分享与验证：Hugging Face Arena

拿到 policy.onnx 后，你有几个选择：

上传至 Hugging Face Hub：方便他人下载和复现。建议附带一个简单的 Model Card，说明训练配置和使用方法。
在 Microduck Arena 测试：这是一个托管在 Hugging Face Spaces 上的在线平台，允许用户上传符合规范（61 维观测、14 维动作、文件大小不超过 64 MiB）的策略模型，并在统一的挑战场景中进行排名比对。这是验证策略泛化能力的好办法。
直接部署到真机：如果你手头有硬件，可以直接进入下一步。

真机部署：从文件到行走

假设你的 Microduck 已经联网并配置好 SSH 访问，部署过程非常直观。

首先，将导出的 ONNX 文件传输到机器人上：

scp exported/policy.onnx microduck@ROBOT_HOST:/home/microduck/my_walking.onnx

接着，SSH 登录到机器人，查看当前已加载的策略列表：

ssh microduck@ROBOT_HOST
robotctl policy list

为了安全起见，初次加载新策略时，建议将机器人固定在支架上。执行以下命令加载行走策略：

sudo robotctl policy load walk /home/microduck/my_walking.onnx

如果机器人之前已经在行走，这条命令会先让它回到初始姿态，然后应用新策略。加载完成后，使用手柄或监控工具测试站立、慢走、转向和停止功能。随时可以通过 robotctl monitor 查看状态，或用 sudo robotctl policy reset walk 恢复默认策略。

实际测试中，经过上述流程训练的策略表现出不错的鲁棒性。即使被外力推倒，Microduck 也能尝试调整姿态并重新站稳继续行走。

进阶：从行走到感知与操作

Isaac Lab 3.0 的能力不止于行走。一旦掌握了基础流程，你可以尝试更复杂的任务：

复杂地形适应：调整课程学习（Curriculum Learning）参数，让机器人挑战更陡的斜坡或更乱的碎石路。
视觉导航：结合头部摄像头的深度图和 RGB 数据，训练机器人在感知障碍物的同时规划路径。Isaac Lab 提供了类似的 Kuka-Allegro 视觉操作示例，可以作为参考。
灵巧操作：利用机械臂和多指夹爪进行物体抓取和重定向任务。
自定义环境：使用项目生成器创建全新的任务场景，并从 SimReady Central Library 导入高质量的仿真资产。