# Agile-WAM：轻量视触觉联合预测

Agile-WAM：轻量视触觉联合预测

完整文章：https://haiguangboy.com/posts/agile-wam

## 核心方法

轻量联合预测，视触觉各看不同的未来
↳ ① 当前观测直接驱动动作生成
把视觉、触觉与机器人自身状态编码成共同潜变量，作为流匹配的起点；轻量MLP一次联合生成动作、未来视觉和未来触觉潜变量。观测只编码一次，后续积分不反复注入条件，也不用生成未来视频像素。

↳ ② 视觉看远，触觉看近
每次生成16步动作，先执行8步再重新规划。视觉预测第8步，避免相邻帧太相似、监督太容易；触觉只预测下一步，保留接触突变。消融中，两种模态都预测下一步、或都预测较远未来，效果都会下降。

↳ ③ 预测还要落实到可执行动作
训练时把生成的动作潜变量解码后直接监督，减少训练与推理的差异。保留同样大的潜空间、只关掉未来预测损失，表现仍下降：收益不能仅用容量增加解释。

## 关键结果

· 9项仿真、5项真机任务；真机每任务50条示范、20次测试。齿轮装配成功率80%、电源插头插入65%，VITA-VT分别为55%、35%；但插销55%，低于对照的60%，网线插入仅30%。
· RTX4090上生成16步动作约10.35毫秒，接近VITA的9.71毫秒；增加触觉和未来预测后仍保持低延迟。

## 相关路线对比

- 相反路线 · [WAM综述：预测如何服务控制](https://haiguangboy.com/posts/wam-survey) `world_action_models_for_robot_learning_and_control_a_survey_2026_09`：保留大潜空间但去掉预测损失，收益仍会下降 contradicts 世界预测与动作选择可以分开优化
- 相反路线 · [触觉当预测目标而非观测输入](https://haiguangboy.com/posts/n_0_vtla_scaling_vision_tactile_language_action_model_with_latent_tactile_tokens) `n_0_vtla_scaling_vision_tactile_language_action_model_with_latent_tactile_tokens_2026_07`：触觉当预测目标而非观测输入
- 同路线 · [JEPA-WAM：创新方法让世界模型更懂状态变化](https://haiguangboy.com/posts/jepa-wam) `jepa_wam_learning_vision_language_action_policies_with_joint_embedding_world_modeling_2026_08`：保留大潜空间但去掉预测损失，收益仍会下降 validates 五组消融:联合目标 79.2 对未来单独目标 77.3,保空间结构对 iREPA 卷积 74.7
- 同路线 · [N0-Foundation:开启触觉新时代](https://haiguangboy.com/posts/mathcaln_0_foundation_towards_the_age_of_tactile_intelligence) `mathcaln_0_foundation_towards_the_age_of_tactile_intelligence_2026_09`：N0-Foundation:开启触觉新时代
- 同路线 · [PRISM:规模能否替代显式建模?](https://haiguangboy.com/posts/prism_precision_and_contact_rich_real_world_industrial_skill_dataset_with_multim) `prism_precision_and_contact_rich_real_world_industrial_skill_dataset_with_multim_2026_08`：PRISM:规模能否替代显式建模?
- 同路线 · [SmoothRL:只对真正执行的动作算账](https://haiguangboy.com/posts/smoothrl_online_reinforcement_learning_during_asynchronous_execution) `smoothrl_online_reinforcement_learning_during_asynchronous_execution_2026_09`：SmoothRL:只对真正执行的动作算账

## 边界

⚠️ 边界
约97Hz只是推理能力，真机视觉和触觉采样均为30Hz，部署还需核对传感、推理与执行的完整延迟。纠偏轨迹被主动加入示范，不能说模型凭空学会了纠错；视觉编码器也用了ImageNet预训练。

## 作者判断(非论文内容,跨论文综合观点)

和T-Rex放在一起看，差别很具体：T-Rex在执行时拆分慢视觉与快触觉修正通路；Agile-WAM在训练时区分视触觉预测时距。两者都重视时间尺度，但“下一步触觉预测”并不等于“高频触觉闭环”。
工程上值得复核的是：换任务、换采样率后，分开设置预测时距是否仍优于统一时距？这决定了它能否成为可复用的方法，而不只是当前配置下的优势。