# VLAW：策略与世界模型共同改进

VLAW：策略与世界模型共同改进

完整文章：https://haiguangboy.com/posts/vlaw

## 核心方法

真实执行校准想象，想象经验改进策略
VLAW从π0.5和Ctrl-World出发，交替更新策略与世界模型。

↳ ① 真机执行校准世界模型。每类先用25条专家演示热启动策略；每轮每类收集50条真实轨迹，成功和失败都用于微调世界模型，同时混入原始DROID数据，防止过拟合。

↳ ② 在世界模型里生成更多练习。每轮每类生成500条合成轨迹，策略根据预测观测继续输出动作，形成闭环想象。用第一轮真实成功/失败标签微调Qwen3-VL-4B，再按“yes”概率阈值筛选；500条并非全部成功。

↳ ③ 策略只学成功，再回真机执行。真实成功轨迹与合成成功轨迹共同用于flow-matching训练，失败样本在策略损失中权重为0。更新后的策略再采集真实数据，进入下一轮。失败经验在这里主要通过校准世界模型间接帮助策略。

## 关键结果

· 相比仅用专家轨迹微调，加入在线数据后，在50个交互片段上，世界模型把失败预测成成功的次数从11降至1；把成功预测成失败的次数从2升至4，并非所有错误都下降。
· 相同真机交互预算下，VLAW比Filtered BC和DSRL获得更大的成功率提升。
· 画圆任务中，合成轨迹从500减到250，或去掉真实成功轨迹，性能都会下降。

## 相关路线对比

- 相反路线 · [英伟达的动作流：机器人动作新标准](https://haiguangboy.com/posts/hydra-0-action-flow) `hydra_0_action_flow_for_generalist_world_modeling_and_control_2026_08`：仍依赖真机交互、人工复位和成功标签 contradicts 建模对象的重新定义:不是复现任务特定行为,而是建模机器人运动的后果
- 同路线 · [PointWorld:点流统一状态动作](https://haiguangboy.com/posts/pointworld_scaling_3d_world_models_for_in_the_wild_robotic_manipulation) `pointworld_scaling_3d_world_models_for_in_the_wild_robotic_manipulation_2026_08`：PointWorld:点流统一状态动作
- 同路线 · [RL 不该从零学，该做后训练](https://haiguangboy.com/posts/rl-100) `rl_100_performant_robotic_manipulation_with_real_world_reinforcement_learning_2026_08`：仍依赖真机交互、人工复位和成功标签 validates 自主复位仍是未解决的实践瓶颈,作者自己列为未来工作
- 同路线 · [S1:机器人的GPT-3涌现时刻](https://haiguangboy.com/posts/skild_blog_introducing_s1_in_context_learning_20260817) `skild_blog_introducing_s1_in_context_learning_20260817_2026_08`：S1:机器人的GPT-3涌现时刻
- 同路线 · [VGEBench:可泛化视觉探索](https://haiguangboy.com/posts/towards_generalizable_visually_grounded_exploration_of_household_devices) `towards_generalizable_visually_grounded_exploration_of_household_devices_2026_09`：VGEBench:可泛化视觉探索
- 同路线 · [不是"要不要世界模型"，是"它吐出来的东西有没有结构"](https://haiguangboy.com/posts/robointer15_a_holistic_intermediate_representation_suite_for_embodied_world_mode) `robointer15_a_holistic_intermediate_representation_suite_for_embodied_world_mode_2026_07`：不是"要不要世界模型"，是"它吐出来的东西有没有结构"

## 边界

⚠️ 边界
只验证了五类任务、两轮迭代，仍需人工复位和成功标注。加入在线数据同时改变了数据量、状态覆盖和失败样本构成，尚未单独隔离失败样本的因果贡献。

## 作者判断(非论文内容,跨论文综合观点)

💡 和WAM综述放在一起看
综述提醒：世界模型追求预测准确，策略追求回报，两者目标不同。VLAW把分工落到数据上：世界模型学习成功与失败，策略学习筛选后的成功经验。共同改进，不要求两者学习相同的轨迹集合。

半年后回看：在同等真机预算下，扩展任务与迭代轮次后，这种交替改进能否继续带来收益。