# MT-WAM：未来监督如何服务动作

MT-WAM：未来监督如何服务动作

完整文章：https://haiguangboy.com/posts/mt-wam

## 核心方法

↳ 保留视频—动作联合训练，新增CoTracker3的未来2D点轨迹与冻结DINOv2的未来视觉特征监督；复制视频主干末端，形成运动流和视觉特征流，前部共享。

↳ 动作直接读取当前帧与运动token；视觉特征流不让动作直接读取，只通过训练塑造共享主干。学什么、让动作看什么，被拆成两个设计问题。

↳ 部署时跳过未来视频与辅助预测头，但保留运动分支。每次重规划运行一次主干与运动分支，缓存供动作多步去噪复用；“一次前向”不等于动作一步生成。

## 关键结果

保持参数量与目标不变，只让动作额外读取视觉特征流，LIBERO-Plus成功率从73.7%降到70.9%；把视觉特征流整个删掉，又降到68.8%。它对训练有用，却不适合在这个设置下直接供动作读取。

## 相关路线对比

- 相反路线 · [OpenWAM:正确答案会随规模变](https://haiguangboy.com/posts/openwam_an_open_modular_exploration_towards_systematic_world_action_model_pretra) `openwam_an_open_modular_exploration_towards_systematic_world_action_model_pretra_2026_09`：OpenWAM:正确答案会随规模变
- 相反路线 · [π0.5抓勺子失败就原地哆嗦,Orca却靠刷视频悟出的物理直觉更进一步](https://haiguangboy.com/posts/orca) `orca_2026_07`：世界模型的关键是可读出的状态
- 相反路线 · [未来预测越准，机器人反而越迟滞](https://haiguangboy.com/posts/omega-0) `omega_0_a_latent_predictive_world_action_model_for_concurrent_humanoid_loco_mani_2026_08`：复制视频主干末端形成双流分支，而非只加输出头 contradicts 核心设计:未来预测不当视频生成目标,而是重建无关的紧凑预测信号,动作分支不需要像素级生成或测试时视频转动作
- 相反路线 · [预测误差更低，表征却已经塌了](https://haiguangboy.com/posts/slim-05b) `slim_05b_learning_action_grounded_predictive_latents_for_robot_manipulation_2026_08`：保留FAST-WAM直接动作接口，增加两类未来监督 contradicts Stage 2 把未来潜变量整个撤掉,只留被 Stage 1 塑形过的预测性 slot
- 同路线 · [Agile-WAM：轻量视触觉联合预测](https://haiguangboy.com/posts/agile-wam) `agile_wam_an_agile_tactile_world_action_model_for_contact_rich_robot_control_2026_09`：保留FAST-WAM直接动作接口，增加两类未来监督 validates 作者主张：输入哪些模态，也应学习这些模态的未来
- 同路线 · [JEPA-WAM：创新方法让世界模型更懂状态变化](https://haiguangboy.com/posts/jepa-wam) `jepa_wam_learning_vision_language_action_policies_with_joint_embedding_world_modeling_2026_08`：作者判断：省掉未来生成后，应优先改善当前一次前向表征 validates 核心主张:转移监督必须直接塑造生成动作的那个主干,外挂和当上下文都不行

## 边界

⚠️ 工程代价与边界
同一RTX PRO 6000上延迟仅增5.79%，FLOPs却增37.63%。2D点轨迹不代表掌握3D接触动力学；现有消融也未完全拆开额外容量与辅助监督各自的贡献。

## 作者判断(非论文内容,跨论文综合观点)

💡 放到相关工作里看
TacWAM把未来触觉用于监督，并在嵌套消融中发现，逐步放开信息交互会损害控制；这与MT-WAM的非对称分工呼应。

但OpenWAM发现，切断动作对世界特征的访问会掉约5分。两者并非直接互相否定：世界流与辅助视觉特征流不是同一种信号，MT-WAM也保留了动作对运动流的读取。工程上真正该逐项验证的是：哪个目标改善表征，哪条信息通路改善控制。