# MoCaP：人类视频驱动零样本移动操作

MoCaP：人类视频驱动零样本移动操作

完整文章：https://haiguangboy.com/posts/mocap

## 核心方法

MoCaP把日常视频整理成可复用的场景记忆与接近先验，再由闭环代码代理结合实时观察，调用导航、规划和抓取工具。全部学习组件冻结，不做任务专门训练，重点在于把人类经验接到机器人的执行约束上。

↳ ① 从日常录像中提取“去哪找”
在收到下游指令前，系统先整理视频里的地点、物体、连接关系和参考画面，形成可跨任务复用的场景记忆。任务启动时，顾问结合记忆、指令和机器人初始视图，给出可能位置和导航子目标。

↳ ② 从人类交互中提取“从哪边接近”
录像还保留人伸手前的准备线索。机器人借用接近方向，结合实时深度对齐几何尺度，再按自身尺寸和运动学选择停靠距离，搜索附近底盘位置与朝向。人类经验提供方向，具体站位由机器人约束决定。

↳ ③ 用闭环代码把经验接到动作上
代码代理根据观察生成短Python程序，调用Nav2和抓取原语。底盘调整后重新感知，再由cuRobo规划全臂运动；调用失败就中断后续程序，把诊断返回代理，修订下一步。导航、站位和抓取由反馈串起来。

## 关键结果

纸箱完整抓持16/20，罐子8/10，两项均为80%；蓝垃圾桶导航为10/10，无视频先验变体为7/10。抓持成功要求抓起指定物体并稳定持有。
两条抓取基线均未成功，但抓取与规划后端也不同，不能把全部差距归因于视频经验。

## 相关路线对比

- 相反路线 · [An_Open_Foundation_Model_Towards](https://haiguangboy.com/posts/an_open_foundation_model_towards) `an_open_foundation_model_towards_2026_07`：全部学习组件冻结，不做任务专门训练 contradicts 联合co-training异构人机数据是结构性次优方案
- 相反路线 · [未来预测越准，机器人反而越迟滞](https://haiguangboy.com/posts/omega-0) `omega_0_a_latent_predictive_world_action_model_for_concurrent_humanoid_loco_mani_2026_08`：底盘移动后重新观测，再做全臂规划 contradicts 问题定位:已有 VLA 要么手臂中心、要么把底盘和手臂当两个未协调的子系统
- 同路线 · [1 天 1000 任务，靠的是归纳偏置](https://haiguangboy.com/posts/mt3-thousand-tasks) `learning_a_thousand_tasks_in_a_day_2026_08`：Zero-shot仍依赖标定、深度和现成执行模块 validates 感知依赖:仅视觉、单相机,无触觉,依赖准确分割
- 同路线 · [DexTouch-WM：人类触觉预训练](https://haiguangboy.com/posts/dextouch-wm) `dextouch_wm_learning_action_conditioned_tactile_world_models_from_human_touch_fo_2026_09`：Zero-shot仍依赖标定、深度和现成执行模块 validates 人类数据不是无硬件、无机器人数据的直接迁移
- 同路线 · [Introducing Gemini Robotics ER 2](https://haiguangboy.com/posts/google_blog_gemini_robotics_er_2_20260730) `google_blog_gemini_robotics_er_2_20260730_2026_07`：代码代理用执行反馈协调导航与抓取 validates 对导航从业者的直接含义:导航不是被基座吸收,是被降格成基座调用的一个工具
- 同路线 · [MINT_A_Unified_Model_for_World_Space_Camera_and_Hand_Motion_Estimation_from_Scal](https://haiguangboy.com/posts/mint_a_unified_model_for_world_space_camera_and_hand_motion_estimation_from_scal) `mint_a_unified_model_for_world_space_camera_and_hand_motion_estimation_from_scal_2026_09`：VGGT相对位姿通过机器人深度获得尺度 validates 两阶段训练背后的判断:学会稳定的手-相机耦合几何关系,和校正相机轨迹的绝对尺度,是两个可以分开解决的子问题——前者需要大量多样但带噪声的数据,后者只需要少量高精度数据

## 边界

⚠️ 代价与边界
评测只覆盖一个环境、一段录像和三个目标，操作主要是抓取、抬起。零样本仍需要标定、实时深度、运动学及现成模型。原文部分试验次数表述冲突，准备度检查也不能当作实际抓持成功率。

## 作者判断(非论文内容,跨论文综合观点)

💡 工程启发
人类视频的用途，可以延伸到执行时直接调用的记忆与接近经验。这与《Towards Agentic Robots》讨论的执行器启动条件相呼应：选对技能，还得把机器人送到技能能执行的状态。
MoCaP展示了一条不更新模型权重的经验复用路径。它能否扩展，仍要看换环境、换录像、统一后端后，完整操作成功率是否稳定受益。