# 不教步骤，装配技能如何从奖励中涌现？

不教步骤，装配技能如何从奖励中涌现？

完整文章：https://haiguangboy.com/posts/alphanist

## 核心方法

一个共享PPO策略，根据零件与配合几何的表面点云、机器人状态和上一动作，输出关节目标与夹爪指令。

没有专家示范、预设动作原语或逐任务调参。完成装配才给任务成功奖励，中间不奖励靠近、对齐；每步仍保留动作、速度和力矩代价。

不同几何共享完整装配目标，让策略有空间寻找各自有效的操作方法。

## 关键结果

↳ 放下零件重新抓，露出更多插入端。
↳ 借板面接触调整零件朝向。
↳ 先暂存USB-A，完成杆件后再返回插接。

这些技巧没有被专项奖励逐项指定。连续装配也没有显式规划器规定顺序；10对全部完成，才获得一次任务成功奖励。

## 相关路线对比

- 相反路线 · [An_Open_Foundation_Model_Towards](https://haiguangboy.com/posts/an_open_foundation_model_towards) `an_open_foundation_model_towards_2026_07`：作者判断异质任务可通过共享终点目标正迁移 contradicts 联合co-training异构人机数据是结构性次优方案
- 相反路线 · [切换逻辑不该让策略去学](https://haiguangboy.com/posts/dr-lfd) `decompose_and_reorganize_planning_with_primitives_and_visuomotor_policies_learne_2026_08`：多对装配出现暂存零件后返回的协调行为 contradicts 核心主张:切换逻辑该交给规划器而不是让策略学——这是对「端到端 scaling」的一次结构性反驳
- 同路线 · [1 天 1000 任务，靠的是归纳偏置](https://haiguangboy.com/posts/mt3-thousand-tasks) `learning_a_thousand_tasks_in_a_day_2026_08`：作者判断异质任务可通过共享终点目标正迁移 validates 关键的反向趋势:分解法在 1–10 条时快速起量但 50 条附近见顶,单体 BC 在 10–50 区间加速追赶
- 同路线 · [Agile-WAM：轻量视触觉联合预测](https://haiguangboy.com/posts/agile-wam) `agile_wam_an_agile_tactile_world_action_model_for_contact_rich_robot_control_2026_09`：协调案例不确立通用规划或未见任务泛化 validates 小样本及选优评估不能外推为稳定通用能力
- 同路线 · [LAWM：为什么动作标签会成为负担](https://haiguangboy.com/posts/latent_action_pretraining_through_world_modeling) `latent_action_pretraining_through_world_modeling_2026_07`：LAWM：为什么动作标签会成为负担
- 同路线 · [MT-WAM：未来监督如何服务动作](https://haiguangboy.com/posts/mt-wam) `mt_wam_reorienting_the_one_pass_predictive_representation_toward_action_generati_2026_09`：规模消融同时改变GPU、环境和rollout batch validates 尚未完全分离监督目标、容量和分支结构的因果贡献

## 边界

⚠️ 无示范，不等于没有探索支撑
缓存初态覆盖散放、在手、搬运和部分装配；成功引导采样优先练习中等难度条目。保持二元目标，改用均匀采样，评测从97.4%降至84.3%。

全部结果来自仿真，98.2%不能当工业可靠率；覆盖20类任务，也不等于一次完成整块20件装配板。

## 作者判断(非论文内容,跨论文综合观点)

💡 多样性如何转化为能力？
本篇支持的是：共享目标、任务多样性、初态覆盖和经验分配共同作用，能让部分单练难例变得可解。

这还不是“任务越多越聪明”的scaling law。更值得检验的是：扩大任务集合后，正迁移能否持续，以及这些重抓、接触调整和协调行为能否迁移到真机。