# KODA：人类示范转成人形全身数据

KODA：人类示范转成人形全身数据

完整文章：https://haiguangboy.com/posts/koda

## 核心方法

KODA把人类示范转成可复用的“全身轨迹＋机器人视角＋任务指令”。关键是让同一条生成轨迹，同时决定机器人相机怎样运动，以及部署控制器要跟踪什么，再据此生成训练监督。

↳ ① 从稀疏参考生成全身运动
利用相机与双手参考，重定向手物几何关系，再通过追踪器和仿真中的采样命令优化生成全身轨迹，最后细化手臂，降低腕部跟踪误差。

↳ ② 让机器人画面跟着生成的运动走
由全身轨迹确定机器人相机位姿，重投影场景、移除人臂并渲染机器人，再补全剩余空洞。合成画面对应这段机器人运动，补全只处理外观，不改动作标签。

↳ ③ 换控制器，保留记录、重建监督
切换SONIC或HEFT时，保留规范轨迹和合成画面，重新优化该控制器的命令，并记录仿真实际状态。生成的状态—动作监督，与对应机器人示范共训各自的GR00T N1.7策略。

## 关键结果

在G1四项移动操作任务中，每任务固定50条机器人示范，再加入100条转换人类示范。在机器人数据未覆盖、但人类数据已覆盖的变化条件下，四任务平均成功率：
· SONIC：3.75%→48.75%。
· HEFT：5.00%→51.25%。
两种控制器下，所测人类数据预算内的Robot-OOD平均成功率均呈上升趋势。

## 相关路线对比

- 相反路线 · [An_Open_Foundation_Model_Towards](https://haiguangboy.com/posts/an_open_foundation_model_towards) `an_open_foundation_model_towards_2026_07`：真机训练使用机器人与转换人类数据共训 contradicts 联合co-training异构人机数据是结构性次优方案
- 相反路线 · [OpenWAM:正确答案会随规模变](https://haiguangboy.com/posts/openwam_an_open_modular_exploration_towards_systematic_world_action_model_pretra) `openwam_an_open_modular_exploration_towards_systematic_world_action_model_pretra_2026_09`：OpenWAM:正确答案会随规模变
- 相反路线 · [Transformer Transformer: A Unified Model for Motion-Conditioned Robot Co-design](https://haiguangboy.com/posts/transformer-transformer-codesign) `transformer-transformer_blog_transformer_transformer_a_unified_20260807_2026_08`：跨控制器复用仍限定同一本体且需再生成监督 contradicts 同一 DiT 通过改变条件掩码，在生成器、设计器和跨本体控制器之间切换
- 相反路线 · [nvidia_gr00t_n1_7_egoscale_blog_20260417](https://haiguangboy.com/posts/nvidia_gr00t_n1_7_egoscale_blog_20260417) `nvidia_gr00t_n1_7_egoscale_blog_20260417_2026_08`：数据增量趋势不足以确立scaling law contradicts NVIDIA GR00T N1.7押的是"人类第一视角视频规模化"路线:2万+小时EgoScale预训练,官方称发现了"首条灵巧度scaling law"——数据从1000小时到2万小时,平均任务完成度提升超过一倍,不靠海量遥操作
- 相反路线 · [把RGB、3D几何、物体语义揉进同一个表征——这才是它比π0.5、Fast-WAM更准的根本原因](https://haiguangboy.com/posts/flex_pi_a_multi_stream_world_action_model_with_compute_flexibility) `flex_pi_a_multi_stream_world_action_model_with_compute_flexibility_2026_08`：FLEX-π:更全面的联合表征
- 相反路线 · [遥操作数据的噪声得进损失函数](https://haiguangboy.com/posts/dexora) `dexora_open_source_vla_for_high_dof_bimanual_dexterity_2026_08`：跨控制器复用仍限定同一本体且需再生成监督 contradicts 跨本体前提:高自由度策略把低自由度本体当作子空间,降维比升维容易

## 边界

⚠️ 代价与边界
本次400段人类示范均含手机实测深度，不能等同任意纯RGB视频。跨控制器验证仍在同一G1上，需要重新生成监督并分别训练策略。每配置只训练一次，每任务每条件20次真机试验；扩量趋势尚不足以确立scaling law。

## 作者判断(非论文内容,跨论文综合观点)

💡 工程启发
监督不匹配也可能负迁移：SONIC加入未做命令优化的转换数据后，已覆盖条件成功率为48.75%，低于仅用机器人数据的62.5%。
与WholeBodyWAM的跨控制器结果对照，数据可复用和策略免适配是两层问题。KODA把复用放在运动与观测记录，把接口差异留给监督生成。后续要看：更多控制器下，能否保住任务收益并减少重复转换成本。