强化学习训练

本教程沿着“环境准备 → 模型与数据 → 任务配置 → 策略训练”的顺序，介绍 RP1 的强化学习训练流程。各章节使用配套的模型、任务和策略配置；训练完成后，继续阅读评估与仿真，完成策略导出、MuJoCo Sim2Sim 验证与部署交付。

速度指令任务使用 RP1.3-Flat / RP1.3-Rough，参考动作跟踪使用 RP1.3-BeyondMimic。先确定目标任务，再准备对应输入，并核对身体动作数、观测与历史布局，避免混用不同路径的模型或策略。

已有策略时，可以从策略输入输出和评估与仿真开始核对，再进入部署。平台与方法的关系见PartyOS 总览。

使用RP1_train完成Isaac Lab训练、策略回放与导出，再通过MuJoCo Sim2Sim检查迁移，最后核对机器人推理端配置。

按上述版本准备Isaac环境，并核对CUDA、显卡驱动与PyTorch的配套要求。Python依赖以 robolab/setup.py 和 rsl_rl/pyproject.toml 为准。

将RP1_train放在Isaac Lab源码树之外，在Isaac Lab使用的Python环境中操作：

robolab/ 与 rsl_rl/ 是源码目录。任务批量导入可能引用RPO资产子模块；遇到资产缺失时，按异常中的实际路径排查。

检查RP1.3任务时，查看其注册与配置。list_envs.py 会启动Isaac Sim且仅筛选RPO名称。任务定义见 任务与机器人配置。

28链路还需要对应任务、奖励、观测、动作映射与策略；30/42训练链路暂不可用。

先确定目标任务和身体配置，再准备机器人资产与数据。Flat/Rough 速度任务与 BeyondMimic 动作跟踪任务使用不同输入；参考动作视频不能直接替代训练所需的动作数据。

这三条 RP1.3 路径采用 RP1_3_CFG 的 24 轴训练资产。RP1_description 的可视化模型、28 轴同名场景与交互头 GLB 分别使用；训练资产由所选任务绑定。

准备并保留同一来源的 URDF / MJCF、网格、关节名称与顺序、默认姿态、执行器配置和碰撞设置。头部、手部或身体轴数变化后，需要相应任务、观测和动作定义。

固定训练源码为 RP1_train@613193a725b5。

BeyondMimic 的加载器读取以下 NPZ 字段。自备参考动作时，数据必须与目标模型、跟踪部位和任务时间定义对应。

核对字段维度、身体顺序、单位、坐标、四元数约定和有效帧数。参考 FPS 与控制或策略频率分别登记；重采样后的速度需与位置和时间一致。

使用人体或其他机器人动作时，可通过 hhtools 的 H2R / R2R 工作流适配目标身体，再检查关节限位、接触和动作连续性。重定向后能够可视化的动作，还需要在目标训练任务中验证动态可跟踪性。

每套训练输入保留：

• 目标模型来源、版本与哈希，关节和身体映射。
• 数据文件、来源及使用许可，转换方法与配置。
• FPS、单位、坐标、有效片段和训练/评估划分。
• 对应 Task ID、动作参考路径及配置文件。

数据集文件与许可按实际来源取得；无需用演示视频推断训练数据或 checkpoint。准备完成后进入训练与续训，策略接口见输入输出约定。

RP1.3训练注册在 robolab/robolab/tasks/direct/base/__init__.py，两条任务均使用 BaseEnv 直接环境。修改任务时需要同时追踪机器人资产、环境配置、agent配置和观测定义。

配置文件分别是 rp1_3_env_cfg.py 和 agents/rp1_3_agent_cfg.py。机器人定义 RP1_3_CFG 位于 robolab/robolab/assets/robots/roboparty.py，指向 rp1.3/urdf/rp1_24dof.urdf。

这些值用于24动作训练配置。硬件行程与安全限值按对应机器规格确认；actor单帧输入与历史缓冲的关系见 策略输入输出。

训练仓库的 rp1_flat.xml、rp1_rough.xml 都引用 robot_24dof.xml。RP1_description中同名场景引用 robot.xml，即28运动关节模型；两个仓库的部分mesh也不同。

训练使用RP1_train对应版本的URDF、MJCF与mesh；更换模型时同时核对关节定义、几何、惯性和映射。

建立独立的28动作任务前，需要对应的task注册、机器人与执行器配置、动作/观测维度、奖励与终止条件、agent配置、关节顺序、历史缓冲和Sim2Sim映射。这些定义应作为独立配置配套维护。

部署前逐项匹配输入尺寸、字段、历史顺序、坐标、归一化与关节映射。

尺寸一致还需要核对字段、顺序和语义；243 维训练与默认部署的历史排列也可能不同。24 轴 BeyondMimic 与默认 28 轴策略具有不同身体集合和输入定义，不能直接互换。

rp1_24dof/configs/beyondmimic.yaml 同时列出默认速度策略与动作跟踪策略：前者为 243 维，后者为 126 维，并引用 policy_dance1.onnx 与 dance1.npz。按选中的策略分支检查实际导出文件，不能只按 YAML 文件名推断输入。

BaseEnv按以下顺序拼接单帧输入：

单帧合计81。该配置使用3帧历史，最终actor输入243元素。训练环境先更新CircularBuffer再展平，历史方向按使用的Isaac Lab版本确认。

观测缩放与裁剪见 base_config.py；动作先裁剪，再乘 action_scale 并加默认关节位置。分别记录数值缩放、统计normalizer和关节顺序。

RP1.3 动作跟踪的 Actor 按以下顺序组合单帧观测：

合计 126 维输入、24 维输出，使用一帧历史。参考动作、模型、跟踪锚点和时间定义随策略保留，见动作跟踪配置与BM Sim2Sim 入口。

用A、B代表两个观测字段，0、1代表从旧到新的两帧：

真实字段是向量，这个例子只说明排列方式。

两套配置的策略周期均为20ms，仿真/控制基础步分别为5ms与4ms；实际运行周期另行测量。部署端继续通过 urdf2motor 和闭链变换映射到电机，分别核对每层索引。

使用新导出策略时，先确认其历史布局与映射，再匹配部署配置。已有策略沿用其对应的训练与导出定义。

1. checkpoint、导出文件、训练配置和部署配置的固定版本/哈希。
2. ONNX实际输入输出名称、shape、dtype、batch、opset及外部数据。
3. 字段顺序、坐标系、单位、默认姿态、缩放与裁剪。
4. 历史长度、布局、从旧到新的方向、首帧填充与重置方式。
5. 统计normalizer的值及其嵌入/外置处理方式。
6. 策略顺序→模型顺序→电机顺序、符号、零位与闭链转换。
7. 推理/控制时间配置和动作后的处理。

部署端要求单输入并检查输入元素数；其余语义按上述清单逐项核对。28 default使用10帧、frame_major和28维映射，需要独立I/O约定。

训练入口为 robolab/scripts/rsl_rl/train.py。它启动Isaac Sim、加载任务与agent配置，再调用runner训练；请先完成 环境准备。

画面数字表示训练轮数，可对比不同轮数下的姿态与行走状态。

训练过程中的状态 · 仿真

画面数字表示训练轮数，用于观察不同轮数下的姿态与行走状态。

下载视频

从RP1_train根目录、匹配的Isaac Lab Python环境执行：

使用1个环境、1次迭代检查加载与训练链路。正式实验另行设置并行规模与迭代数；这次检查产出的策略仅用于链路检查。

每次实验记录并行规模、迭代数、种子与运行条件。

先将 RP1_RUN_PATTERN 与 RP1_CHECKPOINT_PATTERN 设置为匹配已有run与文件的正则表达式，然后执行：

训练入口使用 re.match 搜索历史目录和文件。训练的 --checkpoint 使用匹配表达式，play的同名参数使用明确文件路径。使用足够精确的表达式，并检查启动输出解析出的checkpoint，避免加载另一个实验。

恢复查找发生在创建新日志目录之前。匹配run按修改时间选择，空run会跳过。runner保存并恢复模型、优化器、迭代计数等状态；新日志写入新run目录，保留原run。

Flat日志根目录为 logs/rsl_rl/rp1.3_flat，Rough为 logs/rsl_rl/rp1.3_rough。每个run保存 params/env.yaml、params/agent.yaml 和checkpoint；runner按配置周期保存，并在结束时保存最终checkpoint。

继续查看 评估与导出。

BeyondMimic 使用参考动作中的身体位置、姿态与速度训练动作跟踪策略。RP1.3-BeyondMimic 采用 RP1.3 模型，默认参考动作为 rp1.3_bm/dance1.npz。

舞蹈动作 · 仿真

多个仿真模型执行舞蹈动作。

下载视频

训练入口为 robolab/scripts/rsl_rl/train.py，策略回放入口为 robolab/scripts/rsl_rl/play_bm.py。回放前核对 Task ID、机器人配置、动作文件及 checkpoint；动作跟踪策略的观测与指令约定需使用对应任务配置。

RPO-BeyondMimic 与 RPO-Getup-Mimic 是另外注册的 RPO 任务，使用各自的模型、动作与 agent 配置。不能直接替换为 RP1.3 的任务或策略。

继续查看 训练与续训 和 评估与策略导出。

1. 在数据准备中固定 24 轴模型、参考动作、跟踪身体和时间定义。
2. 使用 RP1.3-BeyondMimic 训练与回放，保留 checkpoint、配置及对应参考动作。
3. 核对126 维输入与 24 维输出，用BM MuJoCo 入口运行匹配的 TorchScript 策略。
4. 接入实机时，使用配套的 ONNX 导出、动作参考和 24 轴部署配置，继续部署检查。

部署配置中的动作跟踪分支与默认速度分支分别匹配其权重和观测；默认 28 轴速度策略的历史输入不能替代这条动作跟踪路径。实机进入条件与回退规则见验收记录。