diff --git a/docs/src/SUMMARY.md b/docs/src/SUMMARY.md index a30dae3..cc04968 100644 --- a/docs/src/SUMMARY.md +++ b/docs/src/SUMMARY.md @@ -42,4 +42,9 @@ - [第5周 (08-10~08-14)](./jiangyuyue/周报/第5周-2026-08-10~2026-08-14.md) - [杨铮](./yangzheng/README.md) - [第2周](./yangzheng/周报/第2周-2026-07-14~2026-07-19.md) + - [World Model 判定可靠性专项 (08-08~08-14)](./yangzheng/周报/第4周-2026-08-08~2026-08-14.md) + - [SimCar 实机接入专项 (08-08~08-14)](./yangzheng/周报/第5周-2026-08-08~2026-08-14.md) + - [代码审查与离线测试](./yangzheng/week5-review-report.md) + - [真机测试轮](./yangzheng/week5-live-test-report.md) + - [原始日志](./yangzheng/week5-test-logs.md) - [工作日志：Octos 最小工具闭环与目录验收](./yangzheng/工作日志/01-Octos最小工具闭环与目录验收-2026-07-19.md) diff --git a/docs/src/yangzheng/README.md b/docs/src/yangzheng/README.md index 668e208..92d30e7 100644 --- a/docs/src/yangzheng/README.md +++ b/docs/src/yangzheng/README.md @@ -9,32 +9,47 @@ | 姓名 | 杨铮 | | 方向 | Octos 编排层、任务分解、技能调用、状态监听、重试闭环 | | 项目 | 嘲风轮足双臂机器人 | -| 当前阶段 | 阶段 1：Octos 最小 demo 跑通与技能接口前置规范 | +| 当前阶段 | 阶段 2：SimCar 实机接入 + 判定口径重做 | | 验证工作区 | `/Users/ken/robot-octos-demo` | | 归档目录 | `docs/src/yangzheng/` | | 周期 | 2026-07 ~ 2027-02 | ## 文档入口 -- [第 2 周周报](./周报/第2周-2026-07-14~2026-07-19.md)：本周验证结果、问题和下一步； +- [第 2 周周报](./周报/第2周-2026-07-14~2026-07-19.md)：Octos 最小工具闭环验证； +- [World Model 判定可靠性专项（08-08 ~ 08-14）](./周报/第4周-2026-08-08~2026-08-14.md)； +- [SimCar 实机接入专项（08-08 ~ 08-14）](./周报/第5周-2026-08-08~2026-08-14.md)：真机五步任务跑通； + - [代码审查与离线测试](./week5-review-report.md)、[真机测试轮](./week5-live-test-report.md)、[原始日志](./week5-test-logs.md)、[真机证据](./evidence/) - [工作日志](./工作日志/01-Octos最小工具闭环与目录验收-2026-07-19.md)：单次验收过程与事实记录。 +> 两份报告覆盖同一日期区间，分别归档 `wm_kit` 判定内核和 +> `robot-octos-demo` SimCar 实机层。为避免和团队自然周编号混淆，目录按 +> “专项名称 + 日期”展示；旧文件名仅为兼容已有链接保留。 + ## 最新进展 -截至 2026-07-19： +截至 2026-08-14（SimCar 实机层）： -1. 已确认 `octos 2.0.0` 可在本机运行，并完成本地技能 `robot-pick-skill` 的发现与直接调用验证； -2. 已在 `/Users/ken/robot-octos-demo` 内完成一次真实 `octos chat` 工具闭环，模型可把中文请求路由到 `pick_object`； -3. 已确认 demo 工作区不是顶层 Git 仓库，而是“系统 Octos + 本地 skill + 嵌套上游源码副本”的混合形态； -4. 已在 `octos-src` 内完成 `cargo check --locked -p octos-cli` 静态构建检查； -5. 已识别当前最主要的工程问题是项目级 `data-dir` 与全局 provider 配置继承关系不稳定。 +1. 线上 SimCar 真机完整跑通五步任务：走到球 → 抓起 → 走到桶 → 放下 → 原路返回， + **球落点距桶心 1.1cm（桶半径 3.3cm），原路返回 0.0cm / 0.0°**； +2. 运动标定：`right angle=90` 实测 90.0°、`up distance=50` 实测 50.0cm，**误差均为 0.0%**； +3. 实机层 `sim/` 共 1698 行，七层职责单一，替身语义照着线上前端 bundle 对齐， + 离线跑完整套 demo 不到一秒且可复现（3.9.6 与 3.12.13 两个解释器输出逐位相同）； +4. 判定口径重做：解析失败不再退化成"正确拒绝"，新增目标绑定维度，旧基准报告已标注作废； +5. 新增 `tools/fault_check.py`（失败路径考卷 23/23）与 `tools/live_check.py`； + 真机考卷按 JSON `items` 计数为 probe 6 项、motion 16 项、task 19 项。 + 最终 motion 为 13 通过 / 0 失败 / 3 未判定，task 为 16/0/3；另有一轮 + 活体门禁未过，不能表述成“本周全过”。 ## 当前判断 -当前已验证的是 Octos 编排最小闭环，不是轮足真机移动、操作或视觉判定闭环。下一步应该把这次最小 demo 的成功路径抽象成三类接口需求： +真机五步任务跑通，但**这不等于系统已经可用**： -- 移动技能接口； -- 操作技能接口； -- 复合任务接口。 +- 技能表只有 `move_to / pick / place / return_home` 四个，全是"奔着已知物体去"的语义， + 像"跑到尽头再右拐"这类巡航指令当前表达不了，而且这个能力从来没上过考卷； +- LLM 规划链路已接 DeepSeek：新口径基准 20/20，并完成模型计划驱动真车五步； + 但满分说明当前基准已经饱和，需要补高难度用例，不能据此断言能力已经充分； +- 自查发现 2 处判定偏宽尚未修复，其中 `place` 在目标不认识时会跳过落点核验直接判成功。 -在接口稳定前，不应直接把 demo 成功等同于真机编排已完成。 +本周最该记住的一条：**判据必须落到实测量上。"函数返回了"和"这件事发生了"是两回事。** +我给真机写的考卷第一版就把"车走了 50cm 没有"写成了"函数返回了没有"，车一厘米没动却打了绿。 diff --git a/docs/src/yangzheng/evidence/bench-llm-deepseek-v4-pro.json b/docs/src/yangzheng/evidence/bench-llm-deepseek-v4-pro.json new file mode 100644 index 0000000..f94678b --- /dev/null +++ b/docs/src/yangzheng/evidence/bench-llm-deepseek-v4-pro.json @@ -0,0 +1,348 @@ +{ + "runs": [ + { + "mode": "llm", + "total": 20, + "valid_total": 20, + "error_count": 0, + "error_ids": [], + "raw_score": 20, + "final_score": 20, + "bind_score": 16, + "bind_total": 16, + "bind_failed_ids": [], + "unparsed_count": 0, + "unparsed_ids": [], + "repaired_count": 0, + "flipped_ids": [], + "results": [ + { + "id": "c01", + "text": "把地上的球捡起来放桌上", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"球\"}}, {\"skill\": \"pick\", \"args\": {\"object\": \"球\"}}, {\"skill\": \"move_to\", \"args\": {\"target\": \"桌子\"}}, {\"skill\": \"place\", \"args\": {\"target\": \"桌子\"}}]" + }, + { + "id": "c02", + "text": "把桌上的杯子拿起来放到垃圾桶里", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"杯子\"}}, {\"skill\": \"pick\", \"args\": {\"object\": \"杯子\"}}, {\"skill\": \"move_to\", \"args\": {\"target\": \"垃圾桶\"}}, {\"skill\": \"place\", \"args\": {\"target\": \"垃圾桶\"}}]" + }, + { + "id": "c03", + "text": "把地上的瓶子捡起来放进箱子里", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"瓶子\"}}, {\"skill\": \"pick\", \"args\": {\"object\": \"瓶子\"}}, {\"skill\": \"move_to\", \"args\": {\"target\": \"箱子\"}}, {\"skill\": \"place\", \"args\": {\"target\": \"箱子\"}}]" + }, + { + "id": "c04", + "text": "把那个玩具捡起来放到沙发上", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"玩具\"}}, {\"skill\": \"pick\", \"args\": {\"object\": \"玩具\"}}, {\"skill\": \"move_to\", \"args\": {\"target\": \"沙发\"}}, {\"skill\": \"place\", \"args\": {\"target\": \"沙发\"}}]" + }, + { + "id": "c05", + "text": "把地上的苹果抓起来放在盘子里", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"苹果\"}}, {\"skill\": \"pick\", \"args\": {\"object\": \"苹果\"}}, {\"skill\": \"move_to\", \"args\": {\"target\": \"盘子\"}}, {\"skill\": \"place\", \"args\": {\"target\": \"盘子\"}}]" + }, + { + "id": "c06", + "text": "把球捡起来", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"球\"}}, {\"skill\": \"pick\", \"args\": {\"object\": \"球\"}}]" + }, + { + "id": "c07", + "text": "把地上的杯子拿起来", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[\n {\"skill\": \"move_to\", \"args\": {\"target\": \"杯子\"}},\n {\"skill\": \"pick\", \"args\": {\"object\": \"杯子\"}}\n]" + }, + { + "id": "c08", + "text": "去垃圾桶那边", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"垃圾桶\"}}]" + }, + { + "id": "c09", + "text": "走到桌子旁边", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"桌子\"}}]" + }, + { + "id": "c10", + "text": "移动到门口", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"门口\"}}]" + }, + { + "id": "c11", + "text": "帮我叠衣服", + "expect": "unsolvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": null, + "flipped_by_repair": false, + "error": null, + "raw_text": "[]" + }, + { + "id": "c12", + "text": "给我讲个笑话", + "expect": "unsolvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": null, + "flipped_by_repair": false, + "error": null, + "raw_text": "[]" + }, + { + "id": "c13", + "text": "打扫一下房间", + "expect": "unsolvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": null, + "flipped_by_repair": false, + "error": null, + "raw_text": "[]" + }, + { + "id": "c14", + "text": "把灯打开", + "expect": "unsolvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": null, + "flipped_by_repair": false, + "error": null, + "raw_text": "[]" + }, + { + "id": "c15", + "text": "球在地上，帮我捡起来放到桌子上", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"球\"}}, {\"skill\": \"pick\", \"args\": {\"object\": \"球\"}}, {\"skill\": \"move_to\", \"args\": {\"target\": \"桌子\"}}, {\"skill\": \"place\", \"args\": {\"target\": \"桌子\"}}]" + }, + { + "id": "c16", + "text": "先移动到球旁边，再把它捡起来，然后拿到桌子那儿放下", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"球\"}}, {\"skill\": \"pick\", \"args\": {\"object\": \"球\"}}, {\"skill\": \"move_to\", \"args\": {\"target\": \"桌子\"}}, {\"skill\": \"place\", \"args\": {\"target\": \"桌子\"}}]" + }, + { + "id": "c17", + "text": "麻烦把地上那颗球捞起来放桌子上", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"球\"}}, {\"skill\": \"pick\", \"args\": {\"object\": \"球\"}}, {\"skill\": \"move_to\", \"args\": {\"target\": \"桌子\"}}, {\"skill\": \"place\", \"args\": {\"target\": \"桌子\"}}]" + }, + { + "id": "c18", + "text": "桌子上的杯子要拿去洗手台放着", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"杯子\"}}, {\"skill\": \"pick\", \"args\": {\"object\": \"杯子\"}}, {\"skill\": \"move_to\", \"args\": {\"target\": \"洗手台\"}}, {\"skill\": \"place\", \"args\": {\"target\": \"洗手台\"}}]" + }, + { + "id": "c19", + "text": "把地上的书本捡起来，放到书架上", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"书本\"}}, {\"skill\": \"pick\", \"args\": {\"object\": \"书本\"}}, {\"skill\": \"move_to\", \"args\": {\"target\": \"书架\"}}, {\"skill\": \"place\", \"args\": {\"target\": \"书架\"}}]" + }, + { + "id": "c20", + "text": "能不能把垃圾捡起来扔到垃圾桶", + "expect": "solvable", + "repaired": false, + "raw_ok": true, + "final_ok": true, + "raw_unparsed": false, + "final_unparsed": false, + "bind_ok": true, + "flipped_by_repair": false, + "error": null, + "raw_text": "[{\"skill\": \"move_to\", \"args\": {\"target\": \"垃圾\"}}, {\"skill\": \"pick\", \"args\": {\"object\": \"垃圾\"}}, {\"skill\": \"move_to\", \"args\": {\"target\": \"垃圾桶\"}}, {\"skill\": \"place\", \"args\": {\"target\": \"垃圾桶\"}}]" + } + ] + } + ], + "validator": { + "caught": 5, + "total": 5, + "detail": [ + { + "id": "v01", + "desc": "技能名编造", + "caught": true, + "problems": [ + "第 1 步用了不存在的技能 goto" + ] + }, + { + "id": "v02", + "desc": "缺必填参数 target", + "caught": true, + "problems": [ + "第 1 步 place 缺少必填参数 target" + ] + }, + { + "id": "v03", + "desc": "必填参数为空字符串", + "caught": true, + "problems": [ + "第 1 步 pick 缺少必填参数 object" + ] + }, + { + "id": "v04", + "desc": "步骤缺 skill 字段", + "caught": true, + "problems": [ + "第 1 步格式不对" + ] + }, + { + "id": "v05", + "desc": "计划根本不是数组", + "caught": true, + "problems": [ + "计划不是数组" + ] + } + ] + } +} \ No newline at end of file diff --git a/docs/src/yangzheng/evidence/live-car-fy7d8pzsj-llm-task-console.txt b/docs/src/yangzheng/evidence/live-car-fy7d8pzsj-llm-task-console.txt new file mode 100644 index 0000000..447619d --- /dev/null +++ b/docs/src/yangzheng/evidence/live-car-fy7d8pzsj-llm-task-console.txt @@ -0,0 +1,78 @@ +【PLAN】调大模型拆解：走到球那里，抓起来，然后走到桶那里放下，最后原路返回 + +【计划】来源：大模型 +[ + { + "op": "move_to", + "args": { + "target": "球" + } + }, + { + "op": "pick", + "args": { + "object": "球" + } + }, + { + "op": "move_to", + "args": { + "target": "桶" + } + }, + { + "op": "place", + "args": { + "target": "桶" + } + }, + { + "op": "return_home", + "args": {} + } +] +【VALIDATE】通过 + +【机器人】HTTP https://simcar.chenlongrobot.com clientId=car-fy7d8pzsj +【感知】上帝视角（--perception 换成带噪感知） +======================================================================== +执行计划：5 步 起点 pose=(0.000, 0.000, 180.0°) hasBall=False arm=idle grabAvail=False ball=(0.000, -5.000) +======================================================================== + +[第 1/5 步] move_to({"target": "球"}) + 目标 球 → (0.000, -5.000) 来源=state.ballPosition 置信度=1.00 + goto 第1次：距 55.6cm，up 38.9cm + ✓ 已到位，距目标 16.6cm（目标 16.7cm） + 状态 pose=(0.000, -3.502, 180.0°) hasBall=False arm=idle grabAvail=True ball=(0.000, -5.000) + +[第 2/5 步] pick({"object": "球"}) + ✓ 抓到了，3.2s 到 holding + 状态 pose=(0.000, -3.502, 180.0°) hasBall=True arm=holding grabAvail=False ball=(在夹爪里) + +[第 3/5 步] move_to({"target": "桶"}) + 目标 桶 → (0.000, 5.000) 来源=先验常量 置信度=1.00 + face_to 第1次：偏 -180.0°，right 100.0°（限幅，剩下的下一轮再转） + face_to 第2次：偏 -80.0°，right 80.0° + goto 第1次：距 94.5cm，up 77.8cm + goto 蹭到障碍物但还在走（本轮 77.3cm），继续 + ✓ 已到位，距目标 17.2cm（目标 16.7cm） + 状态 pose=(0.000, 3.453, 0.0°) hasBall=True arm=holding grabAvail=False ball=(在夹爪里) + +[第 4/5 步] place({"target": "桶"}) + 起步时就在碰撞中，先倒 15cm 脱离 + goto 第1次：距 32.2cm，up 15.5cm + goto 蹭到障碍物但还在走（本轮 15.0cm），继续 + ✓ 放下了，2.5s 回 idle；落点距 桶 中心 1.7cm，进了 + 状态 pose=(0.000, 3.453, 0.0°) hasBall=False arm=idle grabAvail=True ball=(0.000, 4.851) + +[第 5/5 步] return_home({}) + 起步时就在碰撞中，先倒 15cm 脱离 + face_to 第1次：偏 -180.0°，right 100.0°（限幅，剩下的下一轮再转） + face_to 第2次：偏 -80.0°，right 80.0° + goto 第1次：距 23.4cm，up 23.4cm + ✓ 回到起点 0.0cm 内，朝向残差 +0.0° + 状态 pose=(0.000, -0.000, -180.0°) hasBall=False arm=idle grabAvail=False ball=(0.000, 4.851) + +======================================================================== +结果：5/5 步成功 +======================================================================== diff --git a/docs/src/yangzheng/evidence/live-car-zezwf1183-motion-1731-OLD-CRITERIA.json b/docs/src/yangzheng/evidence/live-car-zezwf1183-motion-1731-OLD-CRITERIA.json new file mode 100644 index 0000000..9060e57 --- /dev/null +++ b/docs/src/yangzheng/evidence/live-car-zezwf1183-motion-1731-OLD-CRITERIA.json @@ -0,0 +1,224 @@ +{ + "base_url": "https://simcar.chenlongrobot.com", + "client_id": "car-zezwf1183", + "level": "motion", + "time": "2026-08-11 17:36:17", + "alive": true, + "commands_sent": 6, + "passed": 13, + "failed": 0, + "skipped": 2, + "items": [ + { + "title": "A1 /api/car/state 可达", + "ok": true, + "detail": "19653ms", + "evidence": { + "latency_ms": 19652.6 + } + }, + { + "title": "A2 state 字段齐全", + "ok": true, + "detail": "全在", + "evidence": { + "missing": [], + "raw_state": { + "x": 0, + "z": 0, + "rotation": 3.141592653589793, + "velocity": 0, + "angularVelocity": 0, + "armState": "idle", + "hasBall": false, + "isColliding": false, + "grabAvailable": false, + "ballPosition": { + "x": 0, + "z": -5 + } + } + } + }, + { + "title": "A3 rotation 归一化情况", + "ok": true, + "detail": "raw 3.1416 rad (180.0°) → 归一化 -180.0°", + "evidence": { + "raw": 3.141592653589793, + "normalized": -3.141592653589793, + "already_normalized": true + } + }, + { + "title": "A4 球的位置", + "ok": true, + "detail": "(0.000, -5.000) 距车 56cm 相对车头 +0°", + "evidence": { + "bucket_xz": [ + 0.0, + 5.0 + ], + "ball_xz": [ + 0, + -5 + ], + "car_to_ball_cm": 55.6, + "car_to_ball_deg": 0.0, + "ball_to_bucket_cm": 111.1 + } + }, + { + "title": "A5 车与桶的距离", + "ok": true, + "detail": "56cm isColliding=False", + "evidence": { + "car_to_bucket_cm": 55.6, + "colliding": false + } + }, + { + "title": "A6 连续 5 帧位姿是否变化", + "ok": true, + "detail": "静止", + "evidence": { + "frames": [ + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ] + ], + "still": true + } + }, + { + "title": "B1 命令能让车动起来", + "ok": true, + "detail": "实际转了 +5.0°（命令 +5°）", + "evidence": { + "turned_deg": 5.0, + "commanded_deg": 5.0 + } + }, + { + "title": "C1 未知 action 也回 success:true", + "ok": true, + "detail": "接口回 {\"success\": true, \"command\": {\"action\": \"nonsense_xyz_1786433573\"}, \"target\": \"c", + "evidence": { + "reply": { + "success": true, + "command": { + "action": "nonsense_xyz_1786433573" + }, + "target": "car-zezwf1183" + } + } + }, + { + "title": "D1 right angle=90 自停", + "ok": true, + "detail": "实际 -90.0° 误差 +0.0°（0.0%） 耗时 8.7s", + "evidence": { + "turned_deg": -90.0, + "err_deg": 0.0, + "sec": 8.71, + "settled": true + } + }, + { + "title": "D2 从下发到观测到运动的延迟", + "ok": true, + "detail": "6.44s", + "evidence": { + "startup_sec": 6.44 + } + }, + { + "title": "D3 up distance=50 自停", + "ok": true, + "detail": "实际 0.0cm 误差 -50.0cm（100.0%） 耗时 5.8s 速率 0.0cm/s", + "evidence": { + "moved_cm": 0.0, + "err_cm": -50.0, + "sec": 5.77, + "rate_cm_s": 0.0, + "settled": true + } + }, + { + "title": "D4 单次开环够不够准", + "ok": true, + "detail": "转向误差 100.0% 量级 → 必须写闭环", + "evidence": { + "open_loop_err_cm": -50.0 + } + }, + { + "title": "E1 POST /api/car/reset 是否生效", + "ok": null, + "detail": "位姿没变，回到了模板位姿 (0,0,180°)", + "evidence": { + "before": [ + 0, + 0, + 3.14159 + ], + "after": [ + 0, + 0, + 3.14159 + ], + "changed": false, + "back_to_template": true + } + }, + { + "title": "E2 起步时是否贴着桶（spec 第 2 条）", + "ok": null, + "detail": "isColliding=False 距桶 56cm", + "evidence": { + "colliding": false + } + }, + { + "title": "F1 感知跑通并给出误差基线", + "ok": true, + "detail": "帧 15 检出率 1.0 raw 均值 2.45cm est 均值 2.45cm", + "evidence": { + "ticks": 15, + "raw": { + "n": 1, + "mean_cm": 2.45, + "max_cm": 2.45 + }, + "est": { + "n": 1, + "mean_cm": 2.45, + "max_cm": 2.45 + }, + "detect_rate": 1.0 + } + } + ] +} \ No newline at end of file diff --git a/docs/src/yangzheng/evidence/live-car-zezwf1183-motion-1755.json b/docs/src/yangzheng/evidence/live-car-zezwf1183-motion-1755.json new file mode 100644 index 0000000..6a867b5 --- /dev/null +++ b/docs/src/yangzheng/evidence/live-car-zezwf1183-motion-1755.json @@ -0,0 +1,129 @@ +{ + "base_url": "https://simcar.chenlongrobot.com", + "client_id": "car-zezwf1183", + "level": "motion", + "time": "2026-08-12 12:39:55", + "alive": false, + "commands_sent": 2, + "passed": 6, + "failed": 1, + "skipped": 0, + "items": [ + { + "title": "A1 /api/car/state 可达", + "ok": true, + "detail": "2427ms", + "evidence": { + "latency_ms": 2427.3 + } + }, + { + "title": "A2 state 字段齐全", + "ok": true, + "detail": "全在", + "evidence": { + "missing": [], + "raw_state": { + "x": 0, + "z": 0, + "rotation": 3.141592653589793, + "velocity": 0, + "angularVelocity": 0, + "armState": "idle", + "hasBall": false, + "isColliding": false, + "grabAvailable": false, + "ballPosition": { + "x": 0, + "z": -5 + } + } + } + }, + { + "title": "A3 rotation 归一化情况", + "ok": true, + "detail": "raw 3.1416 rad (180.0°) → 归一化 -180.0°", + "evidence": { + "raw": 3.141592653589793, + "normalized": -3.141592653589793, + "already_normalized": true + } + }, + { + "title": "A4 球的位置", + "ok": true, + "detail": "(0.000, -5.000) 距车 56cm 相对车头 +0°", + "evidence": { + "bucket_xz": [ + 0.0, + 5.0 + ], + "ball_xz": [ + 0, + -5 + ], + "car_to_ball_cm": 55.6, + "car_to_ball_deg": 0.0, + "ball_to_bucket_cm": 111.1 + } + }, + { + "title": "A5 车与桶的距离", + "ok": true, + "detail": "56cm isColliding=False", + "evidence": { + "car_to_bucket_cm": 55.6, + "colliding": false + } + }, + { + "title": "A6 连续 5 帧位姿是否变化", + "ok": true, + "detail": "静止", + "evidence": { + "frames": [ + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ] + ], + "still": true + } + }, + { + "title": "B1 命令能让车动起来", + "ok": false, + "detail": "25s 内位姿没有任何变化 —— 页面没连上，或者仿真器标签页不在前台", + "evidence": { + "before": [ + 0, + 0, + 3.14159 + ], + "waited_sec": 25.0 + } + } + ] +} \ No newline at end of file diff --git a/docs/src/yangzheng/evidence/live-car-zezwf1183-motion.json b/docs/src/yangzheng/evidence/live-car-zezwf1183-motion.json new file mode 100644 index 0000000..f3eb868 --- /dev/null +++ b/docs/src/yangzheng/evidence/live-car-zezwf1183-motion.json @@ -0,0 +1,244 @@ +{ + "base_url": "https://simcar.chenlongrobot.com", + "client_id": "car-zezwf1183", + "level": "motion", + "time": "2026-08-12 13:09:28", + "alive": true, + "commands_sent": 8, + "passed": 13, + "failed": 0, + "skipped": 3, + "items": [ + { + "title": "A1 /api/car/state 可达", + "ok": true, + "detail": "1161ms", + "evidence": { + "latency_ms": 1161.4 + } + }, + { + "title": "A2 state 字段齐全", + "ok": true, + "detail": "全在", + "evidence": { + "missing": [], + "raw_state": { + "x": 0.392343777782497, + "z": -0.9828599007168393, + "rotation": -3.2288591161895113, + "velocity": 0, + "angularVelocity": 0, + "armState": "idle", + "hasBall": false, + "isColliding": false, + "grabAvailable": false, + "ballPosition": { + "x": 4.2882844642342825e-16, + "z": 4.899642700652571 + } + } + } + }, + { + "title": "A3 rotation 归一化情况", + "ok": true, + "detail": "raw -3.2289 rad (-185.0°) → 归一化 175.0°", + "evidence": { + "raw": -3.2288591161895113, + "normalized": 3.054326190990075, + "already_normalized": true + } + }, + { + "title": "A4 球的位置", + "ok": true, + "detail": "(0.000, 4.900) 距车 66cm 相对车头 -179°", + "evidence": { + "bucket_xz": [ + 0.0, + 5.0 + ], + "ball_xz": [ + 0.0, + 4.8996 + ], + "car_to_ball_cm": 65.5, + "car_to_ball_deg": -178.8, + "ball_to_bucket_cm": 1.1 + } + }, + { + "title": "A5 车与桶的距离", + "ok": true, + "detail": "67cm isColliding=False", + "evidence": { + "car_to_bucket_cm": 66.6, + "colliding": false + } + }, + { + "title": "A6 连续 5 帧位姿是否变化", + "ok": true, + "detail": "静止", + "evidence": { + "frames": [ + [ + 0.39234, + -0.98286, + -3.22886 + ], + [ + 0.39234, + -0.98286, + -3.22886 + ], + [ + 0.39234, + -0.98286, + -3.22886 + ], + [ + 0.39234, + -0.98286, + -3.22886 + ], + [ + 0.39234, + -0.98286, + -3.22886 + ] + ], + "still": true + } + }, + { + "title": "B1 命令能让车动起来", + "ok": true, + "detail": "实际转了 +5.0°（命令 +5°）", + "evidence": { + "turned_deg": 5.0, + "commanded_deg": 5.0 + } + }, + { + "title": "B2 这次位移对得上刚下发的命令", + "ok": true, + "detail": "命令 +5°，实际 +5.0°", + "evidence": { + "turned_deg": 5.0, + "commanded_deg": 5.0, + "mismatch": false + } + }, + { + "title": "C1 未知 action 也回 success:true", + "ok": true, + "detail": "接口回 {\"success\": true, \"command\": {\"action\": \"nonsense_xyz_1786504047\"}, \"target\": \"c", + "evidence": { + "reply": { + "success": true, + "command": { + "action": "nonsense_xyz_1786504047" + }, + "target": "car-zezwf1183" + } + } + }, + { + "title": "D1 right angle=90 转到位", + "ok": true, + "detail": "实际 90.0° 误差 +0.0°（0.0%） 耗时 7.9s", + "evidence": { + "commanded": 90.0, + "actual": 90.0, + "err": 0.0, + "err_ratio": 0.0, + "started": true, + "settled": true, + "startup_sec": 2.77, + "sec": 7.87 + } + }, + { + "title": "D2 从下发到观测到运动的延迟", + "ok": true, + "detail": "2.77s", + "evidence": { + "startup_sec": 2.77 + } + }, + { + "title": "D3 up distance=50 走到位", + "ok": true, + "detail": "实际 50.0cm 误差 +0.0cm（0.0%） 耗时 48.3s", + "evidence": { + "commanded": 50.0, + "actual": 50.0, + "err": 0.0, + "err_ratio": 0.0, + "started": true, + "settled": true, + "startup_sec": 2.37, + "sec": 48.35 + } + }, + { + "title": "D4 仿真器标签页像不像在前台", + "ok": null, + "detail": "直行速率 1.0cm/s（前台约 10） 起步延迟 2.8s（前台 <1s） → 多半在后台掉帧", + "evidence": { + "rate_cm_s": 1.03, + "startup_sec": 2.77, + "looks_foreground": false + } + }, + { + "title": "E1 POST /api/car/reset 是否生效", + "ok": null, + "detail": "位姿没变，没有回到模板位姿", + "evidence": { + "before": [ + 4.89235, + -0.98286, + -4.71239 + ], + "after": [ + 4.89235, + -0.98286, + -4.71239 + ], + "changed": false, + "back_to_template": false + } + }, + { + "title": "E2 起步时是否贴着桶（spec 第 2 条）", + "ok": null, + "detail": "isColliding=False 距桶 86cm", + "evidence": { + "colliding": false + } + }, + { + "title": "F1 感知跑通并给出误差基线", + "ok": true, + "detail": "帧 15 检出率 0.833 raw 均值 4.77cm est 均值 2.65cm", + "evidence": { + "ticks": 15, + "raw": { + "n": 25, + "mean_cm": 4.77, + "max_cm": 15.34 + }, + "est": { + "n": 25, + "mean_cm": 2.65, + "max_cm": 15.34 + }, + "detect_rate": 0.833, + "dropped_frames": 0 + } + } + ] +} \ No newline at end of file diff --git a/docs/src/yangzheng/evidence/live-car-zezwf1183-probe.json b/docs/src/yangzheng/evidence/live-car-zezwf1183-probe.json new file mode 100644 index 0000000..bb3cca4 --- /dev/null +++ b/docs/src/yangzheng/evidence/live-car-zezwf1183-probe.json @@ -0,0 +1,116 @@ +{ + "base_url": "https://simcar.chenlongrobot.com", + "client_id": "car-zezwf1183", + "level": "probe", + "time": "2026-08-11 17:29:33", + "alive": null, + "commands_sent": 1, + "passed": 6, + "failed": 0, + "skipped": 0, + "items": [ + { + "title": "A1 /api/car/state 可达", + "ok": true, + "detail": "958ms", + "evidence": { + "latency_ms": 958.2 + } + }, + { + "title": "A2 state 字段齐全", + "ok": true, + "detail": "全在", + "evidence": { + "missing": [], + "raw_state": { + "x": 0, + "z": 0, + "rotation": 3.141592653589793, + "velocity": 0, + "angularVelocity": 0, + "armState": "idle", + "hasBall": false, + "isColliding": false, + "grabAvailable": false, + "ballPosition": { + "x": 0, + "z": -5 + } + } + } + }, + { + "title": "A3 rotation 归一化情况", + "ok": true, + "detail": "raw 3.1416 rad (180.0°) → 归一化 -180.0°", + "evidence": { + "raw": 3.141592653589793, + "normalized": -3.141592653589793, + "already_normalized": false + } + }, + { + "title": "A4 球的位置", + "ok": true, + "detail": "(0.000, -5.000) 距车 56cm 相对车头 +0°", + "evidence": { + "bucket_xz": [ + 0.0, + 5.0 + ], + "ball_xz": [ + 0, + -5 + ], + "car_to_ball_cm": 55.6, + "car_to_ball_deg": 0.0, + "ball_to_bucket_cm": 111.1 + } + }, + { + "title": "A5 车与桶的距离", + "ok": true, + "detail": "56cm isColliding=False", + "evidence": { + "car_to_bucket_cm": 55.6, + "colliding": false + } + }, + { + "title": "A6 连续 5 帧位姿是否变化", + "ok": true, + "detail": "静止", + "evidence": { + "frames": [ + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ] + ], + "still": true + } + } + ] +} \ No newline at end of file diff --git a/docs/src/yangzheng/evidence/live-car-zezwf1183-task-console.txt b/docs/src/yangzheng/evidence/live-car-zezwf1183-task-console.txt new file mode 100644 index 0000000..7145941 --- /dev/null +++ b/docs/src/yangzheng/evidence/live-car-zezwf1183-task-console.txt @@ -0,0 +1,103 @@ +======================================================================== +SimCar 真机考卷 + 目标 https://simcar.chenlongrobot.com + clientId car-zezwf1183 + 档位 task + 时间 2026-08-12 13:16:25 +======================================================================== + +A. 只读探测（发 0 条控制命令） +------------------------------------------------------------------------ + ✓ A1 /api/car/state 可达 3203ms + · 这个数含 HttpTransport 的重试（最多 3 次、递增退避），3s 说明前几次超时了 —— spec 第 5 条那个偶发网络抖动这次撞上了，重试把它兜住了 + ✓ A2 state 字段齐全 全在 + ✓ A3 rotation 归一化情况 raw 3.1416 rad (180.0°) → 归一化 -180.0° + ✓ A4 球的位置 (0.000, -5.000) 距车 56cm 相对车头 +0° + ✓ A5 车与桶的距离 56cm isColliding=False + ✓ A6 连续 5 帧位姿是否变化 静止 + · 静止 ≠ 页面连着。缓存帧也是静止的——活体只能靠发一条命令来证，见 B1 + +B. 活体门禁（发 1 条小命令，转 5° 再转回来，最多等 25s） +------------------------------------------------------------------------ + ✓ B1 命令能让车动起来 实际转了 +5.0°（命令 +5°） + ✓ B2 这次位移对得上刚下发的命令 命令 +5°，实际 +5.0° + +C. 协议真相复核 +------------------------------------------------------------------------ + ✓ C1 未知 action 也回 success:true 接口回 {"success": true, "command": {"action": "nonsense_xyz_1786504620"}, "target": "c + · 这一项『通过』是在确认那条坏消息仍然成立：success:true 不是执行成功的证据，判定必须回读 state + +D. 运动标定（自停 / 精度 / 起步延迟） +------------------------------------------------------------------------ + ✓ D1 right angle=90 转到位 实际 90.0° 误差 +0.0°（0.0%） 耗时 3.9s + ✓ D2 从下发到观测到运动的延迟 2.29s + · 这就是 wait_moving 存在的理由：这段时间里位姿不变、速度为 0，跟『已经停稳』长得一模一样，直接 wait_still 会立刻返回并叠命令 + ✓ D3 up distance=50 走到位 实际 50.0cm 误差 +0.0cm（0.0%） 耗时 50.7s + ? D4 仿真器标签页像不像在前台 直行速率 1.0cm/s（前台约 10） 起步延迟 2.3s（前台 <1s） → 多半在后台掉帧 + · 物理步长被 Math.min(dt,0.1) 钳着，页面切后台掉到 ~1fps 后整个仿真慢十倍。D1/D3 的数字在这种状态下量的是浏览器，不是控制精度——把标签页放到前台重跑才有标定意义 + +E. 复核 docs/stage2-sim-spec.md 里记的真机坑 +------------------------------------------------------------------------ + ? E1 POST /api/car/reset 是否生效 位姿没变，没有回到模板位姿 + · 记 ? 不记对错：spec 第 1 条说真机上 reset 不生效。这项是把当次的事实记下来，不是判系统对错 + ? E2 起步时是否贴着桶（spec 第 2 条） isColliding=False 距桶 78cm + +F. 感知层真机基线（FOV / 噪声 / 置信度） +------------------------------------------------------------------------ + face_to 第1次：偏 -134.7°，right 100.0°（限幅，剩下的下一轮再转） + face_to 第2次：偏 -34.7°，right 34.7° + · 采样前先对准桶：已对准，航向误差 +0.0° + ✓ F1 感知跑通并给出误差基线 帧 15 检出率 0.867 raw 均值 5.18cm est 均值 3.37cm + · 噪声是感知层自己加的，真值来自 state；这一项量的是感知模型本身，不是仿真器的精度 + +G. 完整任务：五步计划 +------------------------------------------------------------------------ + +======================================================================== +执行计划：5 步 起点 pose=(4.485, -0.392, -39.7°) hasBall=False arm=idle grabAvail=False ball=(0.000, -5.000) +======================================================================== + +[第 1/5 步] move_to({"target": "球"}) + 目标 球 → (0.000, -5.000) 来源=state.ballPosition 置信度=1.00 + face_to 第1次：偏 -96.0°，right 96.0° + goto 第1次：距 71.4cm，up 54.8cm + goto 蹭到障碍物但还在走（本轮 53.6cm），继续 + ✓ 已到位，距目标 17.8cm（目标 16.7cm） + 状态 pose=(1.119, -3.850, -135.8°) hasBall=False arm=idle grabAvail=True ball=(0.000, -5.000) + +[第 2/5 步] pick({"object": "球"}) + ✓ 抓到了，6.1s 到 holding + 状态 pose=(1.046, -3.925, -135.8°) hasBall=True arm=holding grabAvail=False ball=(在夹爪里) + +[第 3/5 步] move_to({"target": "桶"}) + 目标 桶 → (0.000, 5.000) 来源=先验常量 置信度=1.00 + face_to 第1次：偏 +129.1°，left 100.0°（限幅，剩下的下一轮再转） + face_to 第2次：偏 +29.1°，left 29.1° + goto 第1次：距 99.8cm，up 83.2cm + ✓ 已到位，距目标 16.7cm（目标 16.7cm） + 状态 pose=(0.175, 3.511, -6.7°) hasBall=True arm=holding grabAvail=False ball=(在夹爪里) + +[第 4/5 步] place({"target": "桶"}) + ✓ 放下了，1.6s 回 idle；落点距 桶 中心 1.1cm，进了 + 状态 pose=(0.175, 3.511, -6.7°) hasBall=False arm=idle grabAvail=True ball=(0.012, 4.899) + +[第 5/5 步] return_home({}) + face_to 第1次：偏 +138.8°，left 100.0°（限幅，剩下的下一轮再转） + face_to 第2次：偏 +38.8°，left 38.8° + goto 第1次：距 64.6cm，up 64.6cm + turn_to_heading 第1次：差 -171.9°，right 100.0° + turn_to_heading 第2次：差 -71.9°，right 71.9° + ✓ 回到起点 0.0cm 内，朝向残差 +0.0° + 状态 pose=(4.485, -0.393, -39.7°) hasBall=False arm=idle grabAvail=False ball=(0.012, 4.899) + +======================================================================== +结果：5/5 步成功 +======================================================================== + ✓ G1 五步全部成功 5/5 步 + ✓ G2 球真的进桶了（上帝视角核落点） 落点距桶心 1.1cm（桶半径 3.3cm） + ✓ G3 回到起点且朝向达标 距起点 0.0cm 朝向残差 0.0° + +======================================================================== +结果：通过 16 失败 0 未判定/测不了 3 命令下发 20 条 +======================================================================== +JSON 结果已写入 reports/evidence/live-car-zezwf1183-task.json diff --git a/docs/src/yangzheng/evidence/live-car-zezwf1183-task.json b/docs/src/yangzheng/evidence/live-car-zezwf1183-task.json new file mode 100644 index 0000000..f560c0a --- /dev/null +++ b/docs/src/yangzheng/evidence/live-car-zezwf1183-task.json @@ -0,0 +1,411 @@ +{ + "base_url": "https://simcar.chenlongrobot.com", + "client_id": "car-zezwf1183", + "level": "task", + "time": "2026-08-12 13:25:34", + "alive": true, + "commands_sent": 20, + "passed": 16, + "failed": 0, + "skipped": 3, + "items": [ + { + "title": "A1 /api/car/state 可达", + "ok": true, + "detail": "3203ms", + "evidence": { + "latency_ms": 3202.7 + } + }, + { + "title": "A2 state 字段齐全", + "ok": true, + "detail": "全在", + "evidence": { + "missing": [], + "raw_state": { + "x": 0, + "z": 0, + "rotation": 3.141592653589793, + "velocity": 0, + "angularVelocity": 0, + "armState": "idle", + "hasBall": false, + "isColliding": false, + "grabAvailable": false, + "ballPosition": { + "x": 0, + "z": -5 + } + } + } + }, + { + "title": "A3 rotation 归一化情况", + "ok": true, + "detail": "raw 3.1416 rad (180.0°) → 归一化 -180.0°", + "evidence": { + "raw": 3.141592653589793, + "normalized": -3.141592653589793, + "already_normalized": true + } + }, + { + "title": "A4 球的位置", + "ok": true, + "detail": "(0.000, -5.000) 距车 56cm 相对车头 +0°", + "evidence": { + "bucket_xz": [ + 0.0, + 5.0 + ], + "ball_xz": [ + 0, + -5 + ], + "car_to_ball_cm": 55.6, + "car_to_ball_deg": 0.0, + "ball_to_bucket_cm": 111.1 + } + }, + { + "title": "A5 车与桶的距离", + "ok": true, + "detail": "56cm isColliding=False", + "evidence": { + "car_to_bucket_cm": 55.6, + "colliding": false + } + }, + { + "title": "A6 连续 5 帧位姿是否变化", + "ok": true, + "detail": "静止", + "evidence": { + "frames": [ + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ], + [ + 0, + 0, + 3.14159 + ] + ], + "still": true + } + }, + { + "title": "B1 命令能让车动起来", + "ok": true, + "detail": "实际转了 +5.0°（命令 +5°）", + "evidence": { + "turned_deg": 5.0, + "commanded_deg": 5.0 + } + }, + { + "title": "B2 这次位移对得上刚下发的命令", + "ok": true, + "detail": "命令 +5°，实际 +5.0°", + "evidence": { + "turned_deg": 5.0, + "commanded_deg": 5.0, + "mismatch": false + } + }, + { + "title": "C1 未知 action 也回 success:true", + "ok": true, + "detail": "接口回 {\"success\": true, \"command\": {\"action\": \"nonsense_xyz_1786504620\"}, \"target\": \"c", + "evidence": { + "reply": { + "success": true, + "command": { + "action": "nonsense_xyz_1786504620" + }, + "target": "car-zezwf1183" + } + } + }, + { + "title": "D1 right angle=90 转到位", + "ok": true, + "detail": "实际 90.0° 误差 +0.0°（0.0%） 耗时 3.9s", + "evidence": { + "commanded": 90.0, + "actual": 90.0, + "err": 0.0, + "err_ratio": 0.0, + "started": true, + "settled": true, + "startup_sec": 2.29, + "sec": 3.91 + } + }, + { + "title": "D2 从下发到观测到运动的延迟", + "ok": true, + "detail": "2.29s", + "evidence": { + "startup_sec": 2.29 + } + }, + { + "title": "D3 up distance=50 走到位", + "ok": true, + "detail": "实际 50.0cm 误差 +0.0cm（0.0%） 耗时 50.7s", + "evidence": { + "commanded": 50.0, + "actual": 50.02, + "err": 0.02, + "err_ratio": 0.0004, + "started": true, + "settled": true, + "startup_sec": 4.4, + "sec": 50.75 + } + }, + { + "title": "D4 仿真器标签页像不像在前台", + "ok": null, + "detail": "直行速率 1.0cm/s（前台约 10） 起步延迟 2.3s（前台 <1s） → 多半在后台掉帧", + "evidence": { + "rate_cm_s": 0.99, + "startup_sec": 2.29, + "looks_foreground": false + } + }, + { + "title": "E1 POST /api/car/reset 是否生效", + "ok": null, + "detail": "位姿没变，没有回到模板位姿", + "evidence": { + "before": [ + 4.48452, + -0.39234, + 1.65806 + ], + "after": [ + 4.48452, + -0.39234, + 1.65806 + ], + "changed": false, + "back_to_template": false + } + }, + { + "title": "E2 起步时是否贴着桶（spec 第 2 条）", + "ok": null, + "detail": "isColliding=False 距桶 78cm", + "evidence": { + "colliding": false + } + }, + { + "title": "F1 感知跑通并给出误差基线", + "ok": true, + "detail": "帧 15 检出率 0.867 raw 均值 5.18cm est 均值 3.37cm", + "evidence": { + "ticks": 15, + "raw": { + "n": 13, + "mean_cm": 5.18, + "max_cm": 14.32 + }, + "est": { + "n": 13, + "mean_cm": 3.37, + "max_cm": 9.02 + }, + "detect_rate": 0.867, + "dropped_frames": 0 + } + }, + { + "title": "G1 五步全部成功", + "ok": true, + "detail": "5/5 步", + "evidence": { + "records": [ + { + "step": 1, + "op": "move_to", + "success": true, + "detail": "已到位，距目标 17.8cm（目标 16.7cm）", + "evidence": { + "iters": 2, + "dist_cm": 17.83, + "stop_cm": 16.67, + "history": [ + 71.44, + 17.83 + ], + "escape": { + "needed": false + }, + "target": "球", + "target_xz": [ + 0, + -5 + ], + "source": "state.ballPosition", + "conf": 1.0, + "pose": [ + 1.119, + -3.85, + -2.37 + ] + } + }, + { + "step": 2, + "op": "pick", + "success": true, + "detail": "抓到了，6.1s 到 holding", + "evidence": { + "arm_state": "holding", + "has_ball": true, + "sec": 6.06, + "object": "球" + } + }, + { + "step": 3, + "op": "move_to", + "success": true, + "detail": "已到位，距目标 16.7cm（目标 16.7cm）", + "evidence": { + "iters": 2, + "dist_cm": 16.66, + "stop_cm": 16.67, + "history": [ + 99.85, + 16.66 + ], + "escape": { + "needed": false + }, + "target": "桶", + "target_xz": [ + 0.0, + 5.0 + ], + "source": "先验常量", + "conf": 1.0, + "pose": [ + 0.175, + 3.511, + -0.117 + ] + } + }, + { + "step": 4, + "op": "place", + "success": true, + "detail": "放下了，1.6s 回 idle；落点距 桶 中心 1.1cm，进了", + "evidence": { + "arm_state": "idle", + "has_ball": false, + "ball_xz": [ + 0.012, + 4.899 + ], + "sec": 1.57, + "target": "桶", + "miss_cm": 1.1, + "target_radius_cm": 3.3, + "inside_target": true, + "approach": { + "iters": 1, + "dist_cm": 16.66, + "stop_cm": 16.67, + "history": [ + 16.66 + ], + "escape": { + "needed": false + } + } + } + }, + { + "step": 5, + "op": "return_home", + "success": true, + "detail": "回到起点 0.0cm 内，朝向残差 +0.0°", + "evidence": { + "home": [ + 4.485, + -0.392, + -0.694 + ], + "back_cm": 0.0, + "heading_err_deg": 0.0, + "turn": { + "iters": 2, + "heading_err_deg": 0.0, + "history": [ + -171.91, + -71.91, + 0.0 + ] + } + } + } + ] + } + }, + { + "title": "G2 球真的进桶了（上帝视角核落点）", + "ok": true, + "detail": "落点距桶心 1.1cm（桶半径 3.3cm）", + "evidence": { + "miss_cm": 1.1, + "radius_cm": 3.3 + } + }, + { + "title": "G3 回到起点且朝向达标", + "ok": true, + "detail": "距起点 0.0cm 朝向残差 0.0°", + "evidence": { + "home": [ + 4.485, + -0.392, + -0.694 + ], + "back_cm": 0.0, + "heading_err_deg": 0.0, + "turn": { + "iters": 2, + "heading_err_deg": 0.0, + "history": [ + -171.91, + -71.91, + 0.0 + ] + } + } + } + ] +} \ No newline at end of file diff --git a/docs/src/yangzheng/evidence/live-selftest-fake.json b/docs/src/yangzheng/evidence/live-selftest-fake.json new file mode 100644 index 0000000..df63f3f --- /dev/null +++ b/docs/src/yangzheng/evidence/live-selftest-fake.json @@ -0,0 +1,407 @@ +{ + "base_url": "https://simcar.chenlongrobot.com", + "client_id": "car-zezwf1183", + "level": "task", + "time": "2026-08-12 12:47:04", + "alive": true, + "commands_sent": 16, + "passed": 16, + "failed": 0, + "skipped": 3, + "items": [ + { + "title": "A1 /api/car/state 可达", + "ok": true, + "detail": "0ms", + "evidence": { + "latency_ms": 0.0 + } + }, + { + "title": "A2 state 字段齐全", + "ok": true, + "detail": "全在", + "evidence": { + "missing": [], + "raw_state": { + "x": 0.0, + "z": 0.0, + "rotation": 3.141592653589793, + "velocity": 0.0, + "angularVelocity": 0.0, + "armState": "idle", + "hasBall": false, + "isColliding": false, + "grabAvailable": false, + "ballPosition": { + "x": 0.0, + "z": -5.0 + } + } + } + }, + { + "title": "A3 rotation 归一化情况", + "ok": true, + "detail": "raw 3.1416 rad (180.0°) → 归一化 -180.0°", + "evidence": { + "raw": 3.141592653589793, + "normalized": -3.141592653589793, + "already_normalized": true + } + }, + { + "title": "A4 球的位置", + "ok": true, + "detail": "(0.000, -5.000) 距车 56cm 相对车头 +0°", + "evidence": { + "bucket_xz": [ + 0.0, + 5.0 + ], + "ball_xz": [ + 0.0, + -5.0 + ], + "car_to_ball_cm": 55.6, + "car_to_ball_deg": 0.0, + "ball_to_bucket_cm": 111.1 + } + }, + { + "title": "A5 车与桶的距离", + "ok": true, + "detail": "56cm isColliding=False", + "evidence": { + "car_to_bucket_cm": 55.6, + "colliding": false + } + }, + { + "title": "A6 连续 5 帧位姿是否变化", + "ok": true, + "detail": "静止", + "evidence": { + "frames": [ + [ + 0.0, + 0.0, + 3.14159 + ], + [ + 0.0, + 0.0, + 3.14159 + ], + [ + 0.0, + 0.0, + 3.14159 + ], + [ + 0.0, + 0.0, + 3.14159 + ], + [ + 0.0, + 0.0, + 3.14159 + ] + ], + "still": true + } + }, + { + "title": "B1 命令能让车动起来", + "ok": true, + "detail": "实际转了 +5.0°（命令 +5°）", + "evidence": { + "turned_deg": 4.96, + "commanded_deg": 5.0 + } + }, + { + "title": "B2 这次位移对得上刚下发的命令", + "ok": true, + "detail": "命令 +5°，实际 +5.0°", + "evidence": { + "turned_deg": 4.96, + "commanded_deg": 5.0, + "mismatch": false + } + }, + { + "title": "C1 未知 action 也回 success:true", + "ok": true, + "detail": "接口回 {\"success\": true, \"command\": {\"action\": \"nonsense_xyz_1786502770\"}, \"target\": \"f", + "evidence": { + "reply": { + "success": true, + "command": { + "action": "nonsense_xyz_1786502770" + }, + "target": "fake" + } + } + }, + { + "title": "D1 right angle=90 转到位", + "ok": true, + "detail": "实际 88.7° 误差 -1.3°（1.4%） 耗时 3.7s", + "evidence": { + "commanded": 90.0, + "actual": 88.74, + "err": -1.26, + "err_ratio": 0.014, + "started": true, + "settled": true, + "startup_sec": 0.0, + "sec": 3.72 + } + }, + { + "title": "D2 从下发到观测到运动的延迟", + "ok": true, + "detail": "0.00s", + "evidence": { + "startup_sec": 0.0 + } + }, + { + "title": "D3 up distance=50 走到位", + "ok": true, + "detail": "实际 50.3cm 误差 +0.3cm（0.6%） 耗时 7.1s", + "evidence": { + "commanded": 50.0, + "actual": 50.3, + "err": 0.3, + "err_ratio": 0.006, + "started": true, + "settled": true, + "startup_sec": 0.0, + "sec": 7.14 + } + }, + { + "title": "D4 仿真器标签页像不像在前台", + "ok": null, + "detail": "直行速率 7.0cm/s（前台约 10） 起步延迟 0.0s（前台 <1s） → 像在前台", + "evidence": { + "rate_cm_s": 7.04, + "startup_sec": 0.0, + "looks_foreground": true + } + }, + { + "title": "E1 POST /api/car/reset 是否生效", + "ok": null, + "detail": "位姿变了，回到了模板位姿 (0,0,180°)", + "evidence": { + "before": [ + 4.5005, + -0.49064, + 1.67939 + ], + "after": [ + 0.0, + 0.0, + 3.14159 + ], + "changed": true, + "back_to_template": true + } + }, + { + "title": "E2 起步时是否贴着桶（spec 第 2 条）", + "ok": null, + "detail": "isColliding=False 距桶 56cm", + "evidence": { + "colliding": false + } + }, + { + "title": "F1 感知跑通并给出误差基线", + "ok": true, + "detail": "帧 15 检出率 0.867 raw 均值 4.14cm est 均值 2.69cm", + "evidence": { + "ticks": 15, + "raw": { + "n": 13, + "mean_cm": 4.14, + "max_cm": 11.44 + }, + "est": { + "n": 13, + "mean_cm": 2.69, + "max_cm": 7.21 + }, + "detect_rate": 0.867, + "dropped_frames": 0 + } + }, + { + "title": "G1 五步全部成功", + "ok": true, + "detail": "5/5 步", + "evidence": { + "records": [ + { + "step": 1, + "op": "move_to", + "success": true, + "detail": "已到位，距目标 17.3cm（目标 16.7cm）", + "evidence": { + "iters": 2, + "dist_cm": 17.33, + "stop_cm": 16.67, + "history": [ + 55.56, + 17.33 + ], + "escape": { + "needed": false + }, + "target": "球", + "target_xz": [ + 0.0, + -5.0 + ], + "source": "state.ballPosition", + "conf": 1.0, + "pose": [ + 0.0, + -3.44, + 3.142 + ] + } + }, + { + "step": 2, + "op": "pick", + "success": true, + "detail": "抓到了，1.0s 到 holding", + "evidence": { + "arm_state": "holding", + "has_ball": true, + "sec": 1.03, + "object": "球" + } + }, + { + "step": 3, + "op": "move_to", + "success": true, + "detail": "已到位，距目标 18.0cm（目标 16.7cm）", + "evidence": { + "iters": 2, + "dist_cm": 18.04, + "stop_cm": 16.67, + "history": [ + 93.78, + 18.04 + ], + "escape": { + "needed": false + }, + "target": "桶", + "target_xz": [ + 0.0, + 5.0 + ], + "source": "先验常量", + "conf": 1.0, + "pose": [ + 0.051, + 3.377, + 0.007 + ] + } + }, + { + "step": 4, + "op": "place", + "success": true, + "detail": "放下了，1.0s 回 idle；落点距 桶 中心 1.4cm，进了", + "evidence": { + "arm_state": "idle", + "has_ball": false, + "ball_xz": [ + 0.004, + 4.876 + ], + "sec": 1.04, + "target": "桶", + "miss_cm": 1.4, + "target_radius_cm": 3.3, + "inside_target": true, + "approach": { + "iters": 1, + "dist_cm": 18.04, + "stop_cm": 16.67, + "history": [ + 18.04 + ], + "escape": { + "needed": false + } + } + } + }, + { + "step": 5, + "op": "return_home", + "success": true, + "detail": "回到起点 0.7cm 内，朝向残差 -1.1°", + "evidence": { + "home": [ + 0.0, + 0.0, + 3.142 + ], + "back_cm": 0.7, + "heading_err_deg": -1.1, + "turn": { + "iters": 0, + "heading_err_deg": -1.08, + "history": [ + -1.08 + ] + } + } + } + ] + } + }, + { + "title": "G2 球真的进桶了（上帝视角核落点）", + "ok": true, + "detail": "落点距桶心 1.4cm（桶半径 3.3cm）", + "evidence": { + "miss_cm": 1.4, + "radius_cm": 3.3 + } + }, + { + "title": "G3 回到起点且朝向达标", + "ok": true, + "detail": "距起点 0.7cm 朝向残差 -1.1°", + "evidence": { + "home": [ + 0.0, + 0.0, + 3.142 + ], + "back_cm": 0.7, + "heading_err_deg": -1.1, + "turn": { + "iters": 0, + "heading_err_deg": -1.08, + "history": [ + -1.08 + ] + } + } + } + ] +} \ No newline at end of file diff --git a/docs/src/yangzheng/week5-live-test-report.md b/docs/src/yangzheng/week5-live-test-report.md new file mode 100644 index 0000000..1902042 --- /dev/null +++ b/docs/src/yangzheng/week5-live-test-report.md @@ -0,0 +1,334 @@ +# 真机测试轮：`tools/live_check.py` 设计 + 对 `car-zezwf1183` 的实跑 + +日期：2026-08-11 ~ 08-12 +目标：`https://simcar.chenlongrobot.com`　clientId：`car-zezwf1183` +交付物：`tools/live_check.py`（新增）、`reports/evidence/live-*.json`（原始结果） + +前两份报告在旁边：[代码审查与测试](week5-review-report.md) · [原始日志](week5-test-logs.md)。 +那两份跑的是本地替身，这份第一次把考卷对准了真机。 + +--- + +## 1. 这轮做了什么 + +一句话：**把"真机到底能不能用"这件事，从一次性手工探测，变成了一条随时可重跑、 +有判据、有证据留档的命令。** + +具体三件： + +1. 设计了一份分三档的真机考卷，做成 `tools/live_check.py`，clientId 自己填； +2. 对 `car-zezwf1183` 实跑了 9 轮（只读 + 6 轮运动档 + 1 轮完整任务 + 1 轮替身自检）， + **完整五步任务在真机上跑通：球进桶 1.1cm，原路返回 0.0cm / 0.0°**； +3. **在自己写的这份考卷里抓出并修掉了 6 个问题，一个假绿、一个假红**—— + 详见 §4，那两条比任何一条真机结论都重要。 + +--- + +## 2. 命令入口 + +```bash +# 只读，发 0 条控制命令，任何时候跑都安全 +python3 tools/live_check.py --client-id car-zezwf1183 + +# 加运动：活体门禁 + 自停/精度标定 + reset 是否生效 + 起步延迟 + 感知基线 +python3 tools/live_check.py --client-id car-zezwf1183 --level motion + +# 加完整五步任务，并把结果留档 +python3 tools/live_check.py --client-id car-zezwf1183 --level task \ + --out reports/evidence/live-$(date +%m%d-%H%M).json + +# 不联网，自检这份考卷本身的逻辑 +python3 tools/live_check.py --client-id 随便填 --mode fake --level task +``` + +`--client-id` 是**必填**，代码里不留默认值。`sim/config.py` 那个 +`car-wrcodx7gk` 是写代码当天那张页面的 id，早失效了；留成默认值只会让人 +对着一个死 id 跑出一堆"没连上"，然后去查代码的毛病。 + +其他参数：`--base-url`（默认线上）、`--mode live|fake`、`--out` 落 JSON。 + +退出码分三种，专门为了让"测不了"和"测出来是错的"不混在一起： + +| 码 | 含义 | +|---|---| +| 0 | 全部通过 | +| 1 | 有判定项失败 —— 系统的问题 | +| 2 | 活体门禁没过 / 传输层中断 —— **环境的问题，这轮没测成** | + +--- + +## 3. 考卷设计 + +### 3.1 为什么第一件事是"活体门禁" + +线上 `/api/control` 是纯广播口：没有浏览器开着仿真器页面时，它对任何 action +都回 `success:true`，`/api/car/state` 返回上一个浏览器留下的缓存帧。 + +这种状态下，**所有只读检查都会漂亮地全绿**——接口可达、字段齐全、坐标合理、 +车静止——但它们一个字都不能证明车是活的。 + +> 只读探测原理上无法区分「活着但没动」和「一帧死掉的缓存」。 + +所以 `motion` / `task` 两档一律先过门禁：发一条 `left angle=5`，看位姿动不动。 +门禁不过就退出码 2 走人，**不把后面的检查判成失败**。 + +### 3.2 三档最多 19 项 + +三个档位逐级累加：`probe` 6 项、`motion` 16 项、`task` 19 项，计数直接对应 +JSON `items`。`D4/E1/E2` 是环境观察项，记为未判定，不进入通过率。 + +| 档 | 项 | 判据 | +|---|---|---| +| probe | A1 接口可达 | GET state 不抛异常；顺带记延迟（含重试） | +| | A2 字段齐全 | 10 个必需字段一个不缺 | +| | A3 rotation 归一化 | 记录 raw 与归一化后的差；比"差了几圈"而不是数值差 | +| | A4/A5 场景几何 | 球坐标、车-球距离/相对角、车-桶距离、isColliding | +| | A6 连续 5 帧位姿 | 只记录，并明说静止证明不了活体 | +| motion | **B1 活体门禁** | 发 5° 转向，位姿必须变 | +| | **B2 位移对得上命令** | 实测转角与命令值差 >5° 判错（抓残留命令迟到执行） | +| | C1 未知 action 仍回 success:true | 复核那条坏消息还成不成立 | +| | D1/D3 转向、直行到位 | **起步 + 停稳 + 实测值误差 ≤20%，三个同时成立** | +| | D2 起步延迟 | 从下发到观测到运动的秒数 | +| | D4 页面在不在前台 | 由速率和起步延迟推断，只记录不判对错 | +| | E1 reset 是否生效 | 记事实，不判对错（spec 第 1 条说不生效） | +| | E2 起步是否贴着桶 | 同上（spec 第 2 条） | +| | F1 感知真机基线 | 15 帧，检出率 + raw/est 误差；单帧掉了只计数不崩 | +| task | G1 五步全成 | `run_plan` 逐步真值判定 | +| | G2 球真进桶 | 上帝视角核落点，`miss_cm ≤ 桶半径` | +| | G3 回起点且朝向达标 | 位置和朝向**双双**进容差 | + +E1/E2/D4 三项刻意记 `?` 而不是对错：它们量的是**这次环境是什么样**， +不是系统做得对不对。把环境事实塞进通过率里，通过率就没意义了。 + +--- + +## 4. 过程中在自己的考卷里抓出的 6 个问题 + +这轮最该记下来的部分。考卷第一版跑出来是「13 通过 0 失败」，看着挺好， +其中一条是假的。 + +### 4.1 D3 假绿：车没动，考卷打了 ✓【最严重】 + +第一版 D3 的判据写成了 `settled`（`wait_still` 返回了没有）。实跑输出： + +``` +✓ D3 up distance=50 自停 实际 0.0cm 误差 -50.0cm（100.0%） 耗时 5.8s 速率 0.0cm/s +``` + +**车一厘米没动，这项打了绿。** 因为车没动的时候，"位姿不变 + 速度为 0" +同样满足"停稳"的定义——这正是 `week5-review-report.md` 从头到尾在挑的那种 +假判定，我自己转头就写了一个一模一样的。 + +修法：判据改成三件事同时成立——观察到起步、停稳了、实测值偏离命令值 ≤20%。 +改完同一条命令的输出变成： + +``` +✗ D3 up distance=50 走到位 20s 内没观察到运动，实测位移 0.0cm —— 命令没生效，或者起步慢到超出观察窗口 +``` + +顺带删掉了 D4 旧版那个 `sheet.check(..., True, ...)` 的恒真项—— +一个永远通过的检查项，除了把通过率灌水没有任何作用。 + +### 4.2 probe 档号称"发 0 条命令"，实际发了 1 条 + +收尾的 `finally` 无条件发 `stop`。文档写着"只读、发 0 条控制命令"， +实跑汇总打的是"命令下发 1 条"。改成只有真发过命令才收尾。 + +### 4.3 ±180° 边界上误报"没归一化" + +`abs(rotation - norm(rotation)) > 1e-9` 在车正后方（π ↔ -π）会成立， +于是每次都提示"线上 rotation 不归一化"。π 和 -π 是同一个角度。 +改成比 `norm(rotation - normalized)`，即比"差了几圈"。 + +### 4.4 门禁 10s 的耐心 < 实测 6.4~51s 的起步延迟 + +第一版门禁只等 10s。实测起步延迟 6.44s（勉强过）到 51.3s（远超）。 +门禁一旦超时就报"页面没连上"——**把"环境慢"说成"没连上"， +和把失败说成成功一样是错误归因。** 改成 25s，并在失败文案里 +把"不在前台"和"没连上"并列成两种可能。 + +### 4.5 一次网络超时把整轮结果冲成 traceback + +F 段感知循环里 `state()` 重试 3 次仍超时，异常一路抛穿， +已经跑完的 A~E 全部丢失。改成：单帧掉了只计数；传输层彻底断了 +记成"运行中断"+ 退出码 2，已跑完的部分照常汇总。 + +### 4.6 F1 假红：没有观测机会，被判成了感知失败 + +和 §4.1 是同一类错误归因，只是方向反过来——把环境条件算成了系统的错。 + +D 段跑完，车头正朝着空地。F 段接着采 15 帧，球和桶全都在 ±60° 视野外， +于是 `detect_rate` 是 `None`、误差样本数为 0，我的判据 `raw["n"] > 0` 判了 ✗： + +``` +✗ F1 感知跑通并给出误差基线 帧 15 检出率 None raw 均值 Nonecm +``` + +**一次观测机会都没有，不是"感知不准"，是"这轮没得测"。** 两处修法： + +1. 采样前先 `face_to` 对准桶，让它真的有东西可看； +2. 真的一次机会都没有时记 `?`（未判定），不记 ✗。 + +修完同一段变成 `✓ F1 帧 15 检出率 0.833 raw 均值 4.77cm est 均值 2.65cm`。 +顺带这一转在真机上跑出了 180° 限幅那条路径：偏 -129.3°， +拆成 `right 100` + `right 29.3` 两刀，`MAX_TURN_STEP_DEG` 生效。 + +### 4.7 顺带新增 B2 + +门禁看到"车动了"就放行是不够的：**动了 ≠ 是这条命令让它动的。** +实跑撞到命令 `+5°`、车转了 `-80°`。新增 B2 单独判这件事， +并且把门禁里那句"按实测量转回去"的补偿删了——在残留命令还在执行的时候 +补偿，只会再叠一条上去。 + +--- + +## 5. 对 `car-zezwf1183` 的实跑结果 + +### 5.1 只读档：6/6 通过 + +``` +✓ A1 /api/car/state 可达 24647ms → 19653ms → 3971ms（三次，含重试） +✓ A2 state 字段齐全 全在 +✓ A3 rotation 归一化情况 raw 3.1416 rad (180.0°) → 归一化 -180.0° +✓ A4 球的位置 (0.000, -5.000) 距车 56cm 相对车头 +0° +✓ A5 车与桶的距离 56cm isColliding=False +✓ A6 连续 5 帧位姿是否变化 静止 +``` + +场景是干净的 reset 状态：车 `(0, 0, 180°)`、球正前 56cm、桶正后 56cm。 +**和上一张页面（`car-wrcodx7gk`）那个"球停在桶里、车贴着桶"的缓存帧完全不同**， +说明这确实是一张新开的页面，id 是对的。 + +### 5.2 运动档：跑了 6 轮，最后一轮 13 通过 / 0 失败 / 3 未判定 + +| 轮次 | 门禁 | 结果 | +|---|---|---| +| 08-11 17:36 | ✅ 过 | 转向准，直行 0cm，起步 6.44s。**D3 那个 ✓ 是假绿**（§4.1） | +| 08-11 17:47 | ✅ 过（**命令 +5° 实际 -80°**） | 转向/直行 20s 内没动；F 段网络超时崩了（§4.5） | +| 08-11 17:55 | ❌ 25s 无反应 | 当时的控制台记录；没有可一一对应的 JSON，不能当作已归档原始证据 | +| 08-12 13:00 | ✅ 过 | 标定全过；**E1 判出结果了** | +| 08-12 13:05 | ✅ 过 | **F1 假红**（§4.6） | +| 08-12 13:10 | ✅ 过 | 13/0/3，F1 修复后正常出基线 ← 留档的那份 | + +**最终一轮的标定数字：** + +``` +✓ D1 right angle=90 转到位 实际 90.0° 误差 +0.0°（0.0%） 耗时 4.9s +✓ D3 up distance=50 走到位 实际 50.0cm 误差 +0.0cm（0.0%） 耗时 46.1s +✓ B2 位移对得上刚下发的命令 命令 +5°，实际 +5.0° +✓ F1 感知基线 帧 15 检出率 0.833 raw 4.77cm → est 2.65cm +? D4 标签页像不像在前台 速率 1.1cm/s 起步 2.4s → 多半在后台掉帧 +``` + +**有证据的真机结论：** + +1. **命令精度是 0.0%**：转向 90° 和直行 50cm 各测三轮，误差全部是 0.0。 + 仿真器的 `distance` / `angle` 自停很准，闭环要补的是**方位**不是**距离**。 +2. **C1 复核成立**：未知 action 照样回 `success:true`。 + `success:true 不是执行成功的证据`这条硬约束继续有效。 +3. **掉帧是真的**（spec 第 3 条）：`up distance=50` 跑了 46~47s，速率 **1.1cm/s**。 + spec 记的是"实测 43s、1.1cm/s"——**同一个数字，两次独立测量**。 + 注意掉帧只让它慢、不让它偏：误差仍是 0.0%。这也正是 `wait_still` + 按位姿判停而不写死超时的价值，30s 固定超时会在车正常走的时候强行 stop。 +4. **网络抖动是真的**（spec 第 5 条）：单次 state 耗时 24.6s / 19.7s / 4.0s / 3.2s， + 都是 3 次退避重试兜回来的。那段重试不是过度设计。 +5. **命令叠发是真的**（spec 第 7 条）：08-11 那轮命令 `+5°`、实际转 `-80°`。 + 后续几轮 B2 全部通过，没有复现——它是偶发的，不是必现的。 +6. **`POST /api/car/reset` 确认不生效**（spec 第 1 条）：08-12 那几轮里 + D3 刚把车往前开了 50cm，reset 完位姿没变、没回到模板位姿。 + 08-11 判不出来是因为车本来就停在原点上——**同一段代码，车在不在原点， + 决定了这项测得出来还是测不出来**。 +7. **E2 起步没有贴着桶**：`isColliding=False`。和 spec 第 2 条记的 + "reset 后贴着桶"**不一致**，这次的场景是干净的。 +8. **刷新页面不会重置世界**：08-12 刷新后读到的球仍在桶里 `(0, 4.900)`， + 是上一轮跑完留下的。加上第 6 条，API 和刷新两条路都不能复位， + 要重新跑任务只能在页面上手动复位。 + +### 5.3 完整任务档：五步全成，球进桶 1.1cm，原路返回 0.0cm / 0.0° + +场景手动复位后（车 `(0,0,180°)`、球 `(0,-5)`）跑的 `--level task`， +**16 通过 / 0 失败 / 3 未判定，20 条命令，退出码 0**： + +| 步 | 技能 | 结果 | 关键证据 | +|---|---|---|---| +| 1 | move_to 球 | ✓ | `face_to` 偏 -96.0° 一刀；`goto` 71.4cm → 停在 17.8cm | +| 2 | pick 球 | ✓ | **6.1s** 到 `hasBall=True` + `armState=holding` | +| 3 | move_to 桶 | ✓ | 偏 +129.1° **拆成 left 100 + left 29.1**；停在 **16.66cm**（目标 16.67） | +| 4 | place 桶 | ✓ | 球落在 `(0.012, 4.899)`，**距桶心 1.1cm ≤ 半径 3.3cm** | +| 5 | return_home | ✓ | 偏 +138.8° 拆两刀 + `goto` 64.6cm + `turn_to_heading` -171.9° 拆两刀 | + +三条判定项： + +``` +✓ G1 五步全部成功 5/5 步 +✓ G2 球真的进桶了（上帝视角核落点） 落点距桶心 1.1cm（桶半径 3.3cm） +✓ G3 回到起点且朝向达标 距起点 0.0cm 朝向残差 0.0° +``` + +**G3 那个满分核过了，是真的**：`home` 记的是 `(4.485, -0.392, -0.694rad)`， +最终位姿 `(4.485, -0.393, -39.7°)`，两位小数完全重合。轨迹上也不是走了捷径—— +`face_to` 两刀 + `goto` 64.6cm + `turn_to_heading` 两刀，闭环真的跑满了。 +能这么准的原因在 §5.2 第 1 条：距离和角度命令本身是 0.0% 误差的。 + +顺带这一轮把三个设计点在真机上验了： + +- **180° 限幅**（spec 第 4 条）触发了 3 次（129.1° / 138.8° / 171.9°）， + 全都拆成两刀绕开归一化边界，没有出现方向抛硬币； +- **`place` 的紧容差精定位**：`move_to` 的 4cm 容差换算到落点是 4~8cm 偏差， + 而桶半宽只有 3.3cm。精定位后实际落点 1.1cm； +- **`grab` 的 30s 超时不是拍脑袋**：这次 6.1s 到 `holding`，掉帧时抬手动画 + 本身就要这么久，轮询判据是 `hasBall AND armState=="holding"` 两个同时成立。 + +### 5.4 自检档：16 通过 / 3 未判定（本地替身，不构成真机结论） + +拿本地替身把 A~G 全段跑了一遍（`--mode fake --level task`，真时钟）： + +``` +✓ B1/B2 门禁 命令 +5°，实际 +5.0° +✓ D1 转向 实际 88.7° 误差 -1.3°（1.4%） 耗时 3.7s +✓ D3 直行 实际 50.3cm 误差 +0.3cm（0.6%） 耗时 7.1s +✓ F1 感知基线 帧 15 检出率 0.867 raw 4.14cm → est 2.69cm +✓ G1 五步全成 5/5 +✓ G2 球真进桶 落点距桶心 1.4cm（桶半径 3.3cm） +✓ G3 回起点 距起点 0.7cm 朝向残差 -1.1° +``` + +这只证明**考卷本身的逻辑跑得通**，不构成对真机的任何结论—— +工具在这个模式下会自己把这句话打在屏幕上。 + +--- + +## 6. 留档 + +| 文件 | 是什么 | +|---|---| +| `evidence/live-car-zezwf1183-task.json` | **完整任务档，16/0/3，五步全成** ← 这轮的主要成果 | +| `evidence/live-car-zezwf1183-motion.json` | 运动档最终一轮，13/0/3 | +| `evidence/live-car-zezwf1183-probe.json` | 只读档，6/6 | +| `evidence/live-car-zezwf1183-motion-1731-OLD-CRITERIA.json` | 旧文件名保留；JSON 写入时间为 08-11 17:36:17。**D3 那个 ✓ 是 §4.1 的假绿**，作为判据修复前的反面证据 | +| `evidence/live-car-zezwf1183-motion-1755.json` | 文件名与时间不一致：JSON 写入时间为 08-12 12:39:55，内容确为 `alive=false`、6 通过/1 失败。疑似同名文件被后续门禁失败轮覆盖，**不能据此证明它就是 08-11 17:55 那轮** | +| `evidence/live-selftest-fake.json` | 替身自检原始证据，16/0/3；不构成真机结论 | + +旧 JSON 的 `time` 是写文件时间，不是运行开始时间，文件名又是人工输入，程序没有 +校验二者。后续生成器已改为同时记录 `run_started_at` 和 `written_at`，报告按字段 +对应轮次，不再从 `--out` 文件名推断时间。 + +`commands_sent` 统计 transport 层所有控制请求，包括门禁、未知 action 探针和 +收尾 `stop`，不是有效运动命令数。旧 probe JSON 中的 1 是旧版 `finally` 发出的 +`stop`；修复后 probe 自检为 6/0/0、`commands_sent=0`。 + +--- + +## 7. 下一步 + +1. `week5-review-report.md` 里 §2.1（`place` 目标不认识时不核落点就判成功） + 和 §2.2（`turn_by` 没动也报成功）**仍未修**。这轮任务档没踩到它们， + 是因为计划里的目标全是 `桶`、也没走 `search_for` 那条路——不是它们不存在了。 +2. 把 §4.1 的假绿、§4.6 的假红做成 `tools/fault_check.py` 的新考区。 + 现在的局面是：考卷考 `sim/`，考卷自己没人考，而这轮两个错判都出在考卷里。 +3. E1 的判定要固定下来：这项能不能测出结果，取决于跑之前车在不在原点。 + 应该在 reset 前先主动把车开走一段，让它每轮都可判，而不是靠运气。 +4. **标签页放到前台再跑一轮标定**。现在所有耗时数字都是 1.1cm/s 下的产物， + 精度不受影响（0.0%），但"一步要多久"这类结论只在前台才有意义。 +5. `sim/fakesim.py` 那两个动力学系数可以拿这轮的真机数据校准了， + 不过要先解决第 4 条——拿后台掉帧的速率去标定替身是错的。 diff --git a/docs/src/yangzheng/week5-review-report.md b/docs/src/yangzheng/week5-review-report.md new file mode 100644 index 0000000..08f4f7c --- /dev/null +++ b/docs/src/yangzheng/week5-review-report.md @@ -0,0 +1,418 @@ +# 第五周工作：代码审查 + 测试报告 + +审查对象：SimCar 实机探测层（`sim/`、`run_sim.py`、`tools/`、`check.py`） +以及本周对判定口径的改动（`benchmarks/run_bench.py`、`orchestrator/planner.py`、 +`orchestrator/judge.py`、`benchmarks/cases.json`、`run.py`）。 + +环境：macOS / 无第三方依赖（`check.py` 除外，见 §4.4）。 +解释器跑了两个：系统 Python 3.9.6，以及 uv 托管的 CPython 3.12.13（见 §3.6）。 +审查日期：2026-08-11。 + +> **原始日志另存一份：[`week5-test-logs.md`](week5-test-logs.md)。** +> 这份是结论，那份是未经删改的完整输出（含探针脚本源码）， +> 本文里每一个数字都能在那边查到出处。 + +--- + +## 1. 结论先说 + +**没有发现「把失败粉饰成成功」的虚假判定。** 这套代码在判定这件事上的 +基本盘是干净的，而且是本仓库里被显式当成设计目标来做的一件事： + +- 判定一律回读 state，不采信接口返回的 `success:true` + （`sim/client.py` 顶部注释 + `docs/stage2-sim-spec.md` §0 都把这条写成硬约束）； +- `place` 的成功与否用**上帝视角真值**核落点，不用同一份带噪估计 + （`sim/skills.py:207-226`），代码注释原话是「不能让考生自己批卷子」； +- `return_home` 要位置和朝向**双双**达标才算成功（`sim/skills.py:244-246`）； +- 计划执行器遇到未知技能或任一步失败就**中止**，不跳步、不带病往下跑 + （`sim/plan_runner.py:84-126`）； +- 本周对基准判定的改动方向也是**收紧**而不是放宽：解析失败不再退化成 `[]` + 被当成「正确拒绝」，ERROR 不再吃掉分母，新增目标绑定维度 + （`benchmarks/run_bench.py`、`orchestrator/planner.py:264-269`）； +- `orchestrator/judge.py` 主动给自己贴了 `judged_by: "self-report(mock)"` 标签， + 声明那条链路的成功率恒等于 100%、没有信息量——这是把自己的短板写在明处。 + +还专门有一份**反向考卷** `tools/fault_check.py`（23 项），考的就是「错的会不会 +被判成对」。这次实跑 23/23 全过。 + +审查中确实找到 3 处**判定偏宽**的地方，其中 1 处是真实可复现的假成功路径 +（§2.1）。都不是"作弊"，是边界没兜住，改动量都很小。 + +--- + +## 2. 审查发现 + +### 2.1 `place` 的目标不认识时，跳过落点核验直接判成功【要改】 + +位置：`sim/skills.py:207-226` + +```python +truth = truth_resolver(ctx, canonical(target_name)) +... +if truth.get("ok") and ball: # ← 只有进了这个分支才核落点 + ... + result["success"] = bool(result["success"] and inside) +``` + +`truth_resolver` 只认识 `ball / bucket / home`，别的名字返回 `ok=False`。 +一旦目标名字不在这个表里（比如计划写成 `place(target="桌子")`）， +落点核验整段被跳过，`place` 就退化成「松手了就算成功」—— +而这正是 `op_place` 注释里点名要防的那件事。 + +**实测复现**（探针脚本，见 §3.5）： + +``` +place 桌子 → success = True + detail : 放下了，1.0s 回 idle + evidence : {'arm_state': 'idle', 'has_ball': False, 'ball_xz': [-0.002, 2.914], ...} + 有没有 miss_cm / inside_target 这两项落点证据： False / False + 球实际落在: (-0.0, 2.91) 桶在: (0.0, 5.0) +``` + +球掉在空地上，日志打绿的，证据里连 `miss_cm` 都没有。 + +**可达性**：`validate_plan` 只查参数非空、不查语义，所以模型吐一个 +`place(target="桌子")` 能过校验直接跑到这里；`--plan-file` 手写计划同理。 +目前示例计划都写 `桶`，所以线上那次 5 步跑通不受影响。 + +**建议改法**：`truth` 解不出来时判失败，别沉默放行。 + +```python +if not (truth.get("ok") and ball): + result["success"] = False + result["detail"] += f"；无法核验落点（{target_name} 没有可用真值），不判成功" + result["evidence"]["verified"] = False +``` + +### 2.2 `turn_by` 在命令完全没生效时报成功【建议改】 + +位置：`sim/primitives.py:250-266` + +`send_and_settle` 的第 4 个返回值 `started` 表示「有没有观察到运动」， +`face_to` / `goto` 丢掉它没问题——它们是循环，下一轮重新测量会自己纠回来。 +但 `turn_by` 是**单发**，丢掉 `started` 之后就没有任何东西兜底了： + +``` +turn_by(90) 在命令被吞掉时 → success = True + detail : 转了 +0.0°（命令 +90.0°） + evidence: {'turned': 0.0, 'commanded': 90.0} +``` + +这恰好是本仓库反复强调的那个失效模式（「`success:true` 不是执行成功的证据」） +在自家原语里的一个残留。好在 `evidence.turned=0.0` 如实记了，事后可审计； +调用方只有 `search_for`（转不动会表现为「扫了 360° 没找到」，是个安全的假阴性） +和 `tools/perception_demo.py`，主链路没有调它，所以危害有限。 + +**建议改法**：`_started` 为 False，或 `|turned|` 远小于命令值时判失败。 + +### 2.3 `goto` 的近距离豁免会放过超容差的残差【可接受，但要知道】 + +位置：`sim/primitives.py:109-113` + +`distance < 6cm 且 stop_cm <= 6cm` 时直接返回成功，不再看 `STOP_TOLERANCE_CM(4cm)`。 +实测：目标 `stop_cm=0`、实际停在 5.5cm，`goto` 判成功。 + +这是个有明确理由的取舍（站在目标点上算方位角会让 `face_to` 左右横跳， +`docs/stage2-sim-spec.md` 第 6 条有真机实测记录）。而且**外层复核兜住了**： + +``` +goto(stop_cm=0) 距目标 5.5cm → success = True +return_home → success = False | 返回不达标：距起点 5.5cm +``` + +唯一没有外层复核的消费者是 `op_move_to` 显式传小 `stop_cm` 的情况， +而当前提示词不会产出 `stop_cm` 参数，实际不可达。保持现状可以， +但值得在 `goto` 的 detail 里写清「这是豁免返回，不是达标返回」。 + +### 2.4 感知模式下 `move_to` 的成功是相对「估计值」判的【设计如此，已被下游兜住】 + +`move_to` 只能对着自己看到的估计位置判到没到位，这跟真机一致。 +实测把球的估计故意偏 3 个单位： + +``` +move_to 球 → success = True | 已到位，距目标 16.7cm（目标 16.7cm） + 离真球其实还有 50.0cm + 紧接着 pick → success = False | 不在抓取窗口内：距球 16.7cm 偏 +0.0° +``` + +链路整体没有产生假成功——`pick` 用仿真器自己的 `grabAvailable` 把它拦下了。 +这条记在这里是为了说明：**单看 `move_to` 的绿色不能当作「机器人真的到了物体旁边」的证据**， +能当证据的是 `pick` 的 `grabAvailable` 和 `place` 的 `miss_cm`。 + +--- + +## 3. 测试结果 + +全部离线可跑，不需要 API key，不需要浏览器页面。 +「uv」列 = 是否在 uv 托管的 CPython 3.12.13 上复跑过（§3.6）； +第 7-11 行属 octos / 编排层，本轮按要求跳过复跑，保留上一轮 3.9.6 的结果。 + +| # | 命令 | 退出码 | uv | 结果 | +|---|---|---|---|---| +| 1 | `tools/fault_check.py` | 0 | ✅ | **失败路径考卷 23/23** | +| 2 | `tools/llm_offline_check.py` | 0 | ✅ | 8/8 用例符合预期；抽一条合法计划实跑 5/5 步成功 | +| 3 | `tools/calib.py` | 0 | ✅ | 7 条命令全部自停；转向误差 ≤3.08°(1.71%)，直行误差 ≤1.77cm(1.77%) | +| 4 | `tools/perception_demo.py` | 0 | ✅ | 四段性质全部复现；两档衰减相差 51 倍；平滑把平均误差从 4.00cm 压到 2.57cm（-36%） | +| 5 | `run_sim.py --demo` | 0 | ✅ | 5/5 步；落点距桶心 1.3cm；回起点 0.9cm / 朝向残差 +2.4° | +| 6 | `run_sim.py --demo --perception` | 0 | ✅ | 5/5 步；检出率 0.867；raw 3.71cm → est 2.77cm | +| 7 | `run_sim.py --demo --dry-run` | 0 | ✅ | 出计划 + 校验通过后停住，不碰机器人 | +| 8 | `run_sim.py --goal "走到球那里，抓起来"` | 1 | ✅ | 无密钥时干净拒绝，提示缺 `LLM_BASE_URL`/`LLM_API_KEY`，不拿空计划冒充跑过 | +| 9 | `benchmarks/run_bench.py --planner mock` | 0 | — | raw 16/20，final 16/20，绑定 11/12，解析失败 0，error 0；校验层 5/5 | +| 10 | `benchmarks/test_repair.py` | 0 | — | 4 个单测全过 | +| 11 | `run.py "把地上的球捡起来放桌上"` | 0 | — | 4/4 步，5 次尝试（第 2 步重试 1 次后成功） | +| 12 | `run.py "把球捡起来" --retries 0` | 1 | — | 如期在第 2 步失败中止 | +| 13 | `run.py "帮我叠衣服"` | 1 | — | 空计划，报「模型给了空计划」而不是「拆不出步骤」 | +| 14 | `benchmarks/run_bench.py --planner llm`（无环境变量） | 1 | — | 前置检查生效，列出缺失的 `LLM_BASE_URL` / `LLM_API_KEY`，不跑空转 | + +### 3.1 几个值得单独说的数 + +- **`fault_check.py` 23/23**：`reports/README.md` 里写的「23 项」与实跑一致。 + 六个考区分别覆盖：解析失败不算正确拒绝、目标绑定错要抓得出、 + 垃圾/垃圾桶的子串陷阱、sim 规划层的 `parse_failed` 与 `unsolvable` 不许混、 + 抓空必须中止计划、球没进桶时 `place` 必须判失败。 +- **基准 c16 被新增的绑定维度抓出来了**：技能序列 `move_to/pick/move_to/place` + 完全正确、`validate_plan` 也过，但参数绑成了 `它 / 下`。 + 旧口径给 `raw=OK final=OK`，新口径 `[绑定错]`。这正是本周改判定口径的意义所在。 +- **c15/c17/c18/c20 判错**是 mock planner 的规则拆解能力问题，不是判定问题。 + `plan_mock` 本来就不是交付物（README 已声明）。 + +### 3.2 线上真机（只读探测） + +只发了**一次只读的 `/api/car/state`**，没有发任何 `/api/control` 命令， +不会影响别人正在用的仿真器： + +```json +{"x": 0.1137, "z": 0.2457, "rotation": 10.1078, "velocity": 0, + "armState": "idle", "hasBall": false, "isColliding": false, + "grabAvailable": false, "ballPosition": {"x": -0.0323, "z": 4.8982}} +``` + +两个发现： + +1. **README 里「球进桶，落点距桶心 1.2cm」这条真机结论，被服务端的缓存帧独立佐证了。** + 拿这一帧算：球 `(-0.0323, 4.8982)`，桶 `(0, 5)`，距离 + `hypot(0.0323, 0.1018) / 0.09 = 1.19cm`。和报告里写的 1.2cm 对得上。 + 这也同时印证了 `docs/stage2-sim-spec.md` §0 的说法——没有页面连着时， + state 返回的就是上一个浏览器留下的**缓存帧**。 +2. **线上的 `rotation` 是不归一化的**：这一帧是 `10.1078 rad = 579.1°`（归一化后 -140.9°）。 + 查了一遍代码：所有参与**判定**的角度运算都过了 `norm()` + （`rel_angle_deg`、`turn_to_heading`、`op_return_home`），**不受影响**。 + 只有 `sim/plan_runner.py:27` 的日志会原样打成 `579.1°`，纯显示问题。 + +### 3.3 未测到的部分（不要当成已验证） + +- **`--mode live` 全链路没跑**：需要浏览器开着仿真器页面。 + 本次只做了只读 state 探测，`HttpTransport.send/reset`、重试退避、 + 真机上那七个坑的修复代码，这次都**没有执行到**。 +- **`--planner llm` / `run_sim.py --goal` 没跑**：环境里一个 LLM 密钥都没有， + 详见 §3.7。`reports/README.md` 里「llm 相关结论一律按未测算」的说法依然成立。 + > **补记 2026-08-14**：密钥已配（DeepSeek `deepseek-v4-pro`），这一条**已不再成立**。 + > 20 条基准 raw/final 20/20、绑定 16/16、零解析失败、零修复轮； + > 真机也用模型出的计划跑通了五步。详见 `week5-weekly-report.md` §3.6。 + > 本节保留原文不改，因为它记录的是 08-11 审查当时的事实。 +- **`check.py` 跑不了**：见 §4.4。 + +### 3.4 复现方式 + +```bash +# sim 实机层（本轮重点，uv 下复跑过一遍，见 §3.6） +uv run --python 3.12 --no-project python tools/fault_check.py # 23/23 +uv run --python 3.12 --no-project python tools/llm_offline_check.py +uv run --python 3.12 --no-project python tools/calib.py +uv run --python 3.12 --no-project python tools/perception_demo.py +uv run --python 3.12 --no-project python run_sim.py --demo +uv run --python 3.12 --no-project python run_sim.py --demo --perception + +# octos / 编排层（本轮按要求跳过，命令留档） +python3 benchmarks/run_bench.py --planner mock +python3 benchmarks/test_repair.py +python3 run.py "把地上的球捡起来放桌上" +``` + +`--no-project`：仓库没有 `pyproject.toml`，也不需要——`sim/` 全是标准库。 +加这个参数是让 uv 别去找项目、别建虚拟环境，只借它托管的解释器。 + +以上每条命令的**完整原始输出**都在 [`week5-test-logs.md`](week5-test-logs.md)， +按 §1 sim 层 / §2 探针 / §3 线上只读探测 / §4 octos 层 分好了。 + +### 3.5 §2 里那些探针 + +§2.1 / 2.2 / 2.3 / 2.4 的四个结论都来自一个一次性探针脚本 +（分别用假 resolver、把 `tp.send` 换成黑洞、构造 5.5cm 目标、故意估偏 3 单位）， +在 3.9.6 和 uv 的 3.12.13 上各跑一遍，四条结论完全一致。 +脚本没有进仓库——如果要长期守住这几条，建议把 §2.1 和 §2.2 补成 +`tools/fault_check.py` 的第七、第八考区，那才是它们该待的地方。 + +### 3.6 用 uv 复跑一遍（CPython 3.12.13） + +仓库没有 `pyproject.toml`，也确实不需要——`sim/` 全是标准库。 +所以用 `--no-project` 直接借 uv 托管的解释器跑，不建虚拟环境、不装任何包： + +```bash +uv run --python 3.12 --no-project python tools/fault_check.py +uv run --python 3.12 --no-project python tools/llm_offline_check.py +uv run --python 3.12 --no-project python tools/calib.py +uv run --python 3.12 --no-project python tools/perception_demo.py +uv run --python 3.12 --no-project python run_sim.py --demo +uv run --python 3.12 --no-project python run_sim.py --demo --perception +uv run --python 3.12 --no-project python run_sim.py --demo --dry-run +``` + +7 条全部 exit=0。**而且每一个数字和 3.9.6 那轮逐位相同**： + +| 指标 | Python 3.9.6 | uv / CPython 3.12.13 | +|---|---|---| +| 失败路径考卷 | 23/23 | 23/23 | +| `run_sim --demo` | 5/5 步，落点 1.3cm，回起点 0.9cm / +2.4° | 完全一致 | +| `--perception` | 5/5 步，检出率 0.867，raw 3.71 → est 2.77cm | 完全一致 | +| 标定 | 转向 ≤3.08°(1.71%)，直行 ≤1.77cm(1.77%) | 完全一致 | +| 感知演示 | 检出率 0.583，raw 4.00 → est 2.57cm，衰减差 51 倍 | 完全一致 | + +这条本身就是一个结论：`fakesim` 的**固定种子 + 虚拟时钟**确实做到了可复现， +跨解释器版本（3.9 → 3.12）都没有漂。基准和考卷的分数因此可以横向比。 + +另外 `run_sim.py --goal "..."` 在没有密钥时 exit=1，报的是 + +``` +拆解失败：请先设置 LLM_BASE_URL 和 LLM_API_KEY +（需要 LLM_BASE_URL / LLM_API_KEY / LLM_MODEL；只想离线验证规划链路就跑 tools/llm_offline_check.py） +``` + +——干净地拒绝，没有拿一份空计划冒充"跑过了"。这也算过了一项判定考。 + +### 3.7 LLM 相关的环境变量：当前一个都没有 + +按 `orchestrator/planner.py._call_llm` 和 `benchmarks/run_bench.py.REQUIRED_LLM_ENV` +的口径，实测本机状态： + +| 变量名 | 必填 | 当前 | 说明 | +|---|---|---|---| +| `LLM_BASE_URL` | 是 | **未设置** | 例：`https://api.openai.com/v1` | +| `LLM_API_KEY` | 是 | **未设置** | 密钥本体 | +| `LLM_MODEL` | 否 | 未设置 | 不填走代码里的默认值 | +| `OPENAI_API_KEY` / `OPENAI_BASE_URL` | — | 未设置 | 本仓库不读这两个 | +| `ANTHROPIC_API_KEY` / `ANTHROPIC_BASE_URL` | — | 未设置 | 同上 | +| `SIMCAR_BASE` / `SIMCAR_CLIENT_ID` | 否 | 未设置 | 不填走 `sim/config.py` 里的默认值 | + +环境里也搜不到任何其他含 `LLM` / `API` / `MODEL` 的变量名。 +所以 **llm 链路这次仍然是零覆盖**，只有 `tools/llm_offline_check.py` +用手写的"模型输出"覆盖了解析→校验→修复→执行这一段。 + +> **补记 2026-08-14**：上表是 08-11 的状态。密钥已于 08-14 配好，写在 +> `robot-octos-demo/.env`（已被 `.gitignore` 排除，不进仓库）： +> `LLM_BASE_URL=https://api.deepseek.com`、`LLM_MODEL=deepseek-v4-pro`。 +> 代码一行未改——DeepSeek 走的就是标准 OpenAI 兼容 `/chat/completions`。 + +要跑真模型，补上这两个再重跑（密钥别写进仓库）： + +```bash +export LLM_BASE_URL=https://api.openai.com/v1 +export LLM_API_KEY=sk-xxx +export LLM_MODEL=gpt-4o-mini # 可选 + +uv run --python 3.12 --no-project python run_sim.py --goal "走到球那里，抓起来，然后走到桶那里放下，最后原路返回" +``` + +### 3.8 本轮没测的：octos / 编排层 + +按要求跳过。涉及的是 `run.py`、`orchestrator/`、`benchmarks/run_bench.py`、 +`benchmarks/test_repair.py` 这几处（上一轮在 3.9.6 上跑过，结果见 §3 的表 7-11 行）。 + +有一处交叉要说明：`tools/fault_check.py` 的第一、二、三考区考的是 +`benchmarks/run_bench.py` 的判定函数，所以这次跑考卷时那部分**顺带被覆盖到了**， +23 项全过里包含它们。 + +--- + +## 4. 其他小问题 + +### 4.1 `config.APPROACH_CM` 注释和代码对不上 + +`sim/config.py:43-44` 注释写「留 1cm 余量防止把球顶跑」，但代码是 +`APPROACH_CM = GRAB_REACH_UNIT * UNIT2CM`（16.67），没有减 1cm。 +抓取半径 1.5 单位（16.7cm）很宽松，实际不影响成功率，但注释要么改掉、 +要么把余量真加上。 + +### 4.2 `run_bench.py` 的 `assert final_score >= raw_score` + +这个不变量本身是对的，也确实追查过：`plan_and_repair` 只在 +`validate_plan` 报错时才触发修复，而 `judge_case` 判 `raw_ok=True` 的前提就包含 +「过了 `validate_plan`」，所以 `raw_ok=True` 的用例根本不会进修复轮， +断言在当前逻辑下不可达。保留没问题（注释里写明了「宁可报错也不出错报告」）， +只提醒一句：它一旦触发会**丢掉整批已跑完的结果**， +换成打印警告 + 在报告 JSON 里落一个 `invariant_violated` 字段会更保险。 + +### 4.3 `fakesim.reset()` 里的 `self._vt = self._vt` + +`sim/fakesim.py:94` 这行是空操作，意图（虚拟时钟不回退）靠的是它下面 +`_reset_world()` 没碰 `_vt`。留着当注释可以，但写成注释更清楚。 + +### 4.4 `check.py` 依赖 `requests`，当前环境跑不起来 + +`check.py:1` `import requests`，而本机没装（`ModuleNotFoundError`）， +README 又写着「无依赖，Python 3.8+ 即可」。这个文件是第五周最早那版 +一次性探测脚本，它要问的三个问题（自停？速率？场景几何？）后来都被 +`tools/calib.py` 用标准库重写并覆盖了。建议二选一： +删掉，或者移到 `tools/` 下并改成 `urllib`，顺便在 README 里给它一句话交代。 + +--- + +## 5. 第五周工作总结 + +### 做完了什么 + +把阶段 1 那套全 mock 的编排层，接到了一个**真的会动的东西**上，并且在这个 +过程中把「怎么判断一步到底成没成功」这件事重新做了一遍。 + +**A. 实机层（`sim/`，7 步）** + +审查当时的“约 1400 行”是功能尚未收尾时的粗略统计；本次交付按 +`sim/**/*.py` 统计为 **1698 行**。两者统计时点不同，不再并列作为规模结论。 + +| 模块 | 干什么 | +|---|---| +| `client.py` | `bk` 唯一硬件入口；HTTP / 替身两个 transport 同签名；10Hz 轮询；`wait_still` 按位姿判停、`wait_moving` 防叠命令 | +| `fakesim.py` | 本地替身，语义照着线上 bundle 的 `U0/Th/Qo/R0` 对齐，连「球在夹爪里时 `ballPosition` 报局部坐标」这个坑都复现了；虚拟时钟，一整套 demo 跑完不到 1 秒且可复现 | +| `primitives.py` | 闭环原语，统一是「测量 → 下发 → 停稳 → 再测量」，迭代到上限就如实报失败 | +| `perception.py` | FOV 门控 + 距离相关噪声 + 两档置信度衰减，真值留着当 ground truth 算感知误差 | +| `skills.py` | `move_to/pick/place/return_home`；目标解析抽成 resolver，上帝视角和带噪感知可整体替换 | +| `plan_runner.py` | 未知技能中止、失败即停，绝不跳步 | +| `llm_plan.py` | 一句话 → JSON 计划，一次性出全；`unsolvable` 与 `parse_failed` 严格分开 | + +**B. 真机上撞出来的七个坑，全部有代码对应**（`docs/stage2-sim-spec.md`） +reset 不生效、起步就贴着桶、掉帧慢十倍、恰好 180° 的转向边界、 +偶发 SSL 超时、站在目标点上算方位角、「还没开始」和「已经停了」同形。 +这七条不是读文档读出来的，是跑出来的，每条都能指到具体的修法。 + +**C. 把判定口径收紧了一轮**（本周对 `orchestrator/` 和 `benchmarks/` 的改动） +- 解析失败返回 `None` 而不是 `[]`，不再和「模型明确拒绝」同形； +- ERROR 只给「调用本身失败」，模型吐垃圾照样进分母，不免单； +- 新增目标绑定维度（等价类查表，不做子串匹配），当场抓出 c16 这条老口径的漏网之鱼； +- 每条用例存 `raw_text`，让报告事后可审计； +- 旧报告在 `reports/README.md` 里明确标注「不要引用分数」，并写清高估在哪。 + +**D. 四把离线的尺子**（`tools/`） +标定、感知演示、规划链路离线验证，以及那份专考「错的会不会被判成对」的失败路径考卷。 + +### 这周真正的收获 + +不是「跑通了」，是**搞清楚了什么东西不能当成跑通的证据**： + +1. 接口的 `success:true` 不是证据——没有页面连着时它对任何 action 都返回 true； +2. 技能自报的 `success` 不是证据——`skills/*/main` 全是无条件返回 True 的假技能， + 所以 `judge.py` 给自己贴了 `self-report(mock)` 的标签； +3. 带噪感知的估计值不能用来判自己成没成功——`place` 因此坚持用真值核落点； +4. 成功路径全绿不是证据——它只证明「对的判成了对」， + 所以要有 `fault_check.py` 单独考「错的判不判成错」。 + +### 下一步（按优先级） + +1. 补掉 §2.1（`place` 目标不认识时不许判成功）和 §2.2（`turn_by` 没动别报成功）， + 并把这两条写进 `fault_check.py` 当第七、第八考区； +2. ~~配好 `LLM_BASE_URL` / `LLM_API_KEY`，用新口径重跑 20 条基准~~ + —— **08-14 已完成**，`bench-llm.json` 的「不要引用」已撤。 + 剩 `bench-llm-repeat3.json` 仍是旧口径，需单独重跑三轮； +3. 真机再跑一轮，重点验这次没执行到的 `HttpTransport` 重试路径， + 顺便用 `tools/calib.py --mode live` 把 `fakesim` 那两个动力学系数标定回来； +4. 处理 §4.4 的 `check.py`（删掉或用标准库重写进 `tools/`）； +5. `contracts/skills.md` 发给曹志伟和蒋丰泽，把待确认项敲掉。 diff --git a/docs/src/yangzheng/week5-test-logs.md b/docs/src/yangzheng/week5-test-logs.md new file mode 100644 index 0000000..be4a89e --- /dev/null +++ b/docs/src/yangzheng/week5-test-logs.md @@ -0,0 +1,856 @@ +# 第五周测试：原始日志 + +配套报告：[`week5-review-report.md`](week5-review-report.md)。 +那份是结论，这份是**未经删改的原始输出**，用来核对结论里每一个数字的出处。 + +采集时间：2026-08-11。 + +--- + +## 0. 环境 + +```text +uv 0.11.6 (65950801c 2026-04-09 aarch64-apple-darwin) +解释器 A 系统 CPython 3.9.6 (macOS 自带) +解释器 B uv 托管 CPython 3.12.13 (main, Apr 7 2026, 21:09:58) [Clang 22.1.1] +平台 macOS / darwin 25.3.0 +第三方依赖 无（check.py 除外，它要 requests，本机没装） +``` + +跑法（仓库没有 `pyproject.toml` 也不需要，`sim/` 全是标准库， +所以用 `--no-project` 让 uv 别建虚拟环境，只借解释器）： + +```bash +uv run --python 3.12 --no-project python <脚本> +``` + +### LLM 相关环境变量：全部未设置 + +```text +变量名 是否设置 说明 +---------------------------------------------------------------- +LLM_BASE_URL 未设置 必填，例 https://api.openai.com/v1 +LLM_API_KEY 未设置 必填 +LLM_MODEL 未设置 选填，不填走代码默认值 +OPENAI_API_KEY 未设置 本仓库不读 +OPENAI_BASE_URL 未设置 本仓库不读 +ANTHROPIC_API_KEY 未设置 本仓库不读 +ANTHROPIC_BASE_URL 未设置 本仓库不读 +SIMCAR_BASE 未设置 选填，不填走 sim/config.py 默认值 +SIMCAR_CLIENT_ID 未设置 选填，同上 + +环境里另有的含 LLM / API / MODEL 的变量名：无 +``` + +因此 llm 链路本轮零覆盖，下面 §1.8 是它在缺密钥时的行为日志。 + +### 两个解释器的输出逐位相同 + +sim 层的 6 份日志在 3.9.6 和 3.12.13 上 `diff` 全部无差异： + +```text +$ for f in fault_check llm_offline_check calib perception_demo sim-demo sim-perception; do + diff -q $A/$f.log $B/$f.log && echo "identical $f.log"; done + +identical fault_check.log +identical llm_offline_check.log +identical calib.log +identical perception_demo.log +identical sim-demo.log +identical sim-perception.log +``` + +所以下面 §1 只贴一份（uv / 3.12.13 那轮），另一轮不重复占版面。 +这条同时也是个结论：`fakesim` 的固定种子 + 虚拟时钟做到了跨解释器可复现。 + +--- + +## 1. sim 实机层（uv / CPython 3.12.13） + +### 1.1 `tools/fault_check.py` — 失败路径考卷　exit=0 + +专考「错的会不会被判成对」。23 项全过。 + +```text + +一、基准判定：解析失败不许算成「正确拒绝」 +-------------------------------------------------------------------- + ✓ 模型吐废话 → 判错 + ✓ 模型吐半个 JSON → 判错 + ✓ 模型吐空数组 → 判对 + ✓ 模型硬编了个计划 → 判错 + +二、基准判定：目标绑定错要能抓出来 +-------------------------------------------------------------------- + ✓ 绑对了 → 绑定判对 + ✓ 绑成杯子 → 绑定判错 + ✓ 绑成代词「它」→ 绑定判错 + ✓ 技能序列先错了 → 绑定不判（None） + ✓ 这三份计划都能过 validate_plan（说明老口径抓不到） + +三、子串陷阱：垃圾 / 垃圾桶 不能互相顶替 +-------------------------------------------------------------------- + ✓ object=垃圾桶 顶 垃圾 → 判错 + ✓ object=垃圾 → 判对 + +四、sim 规划层：解析失败不许报成「超出能力范围」 +-------------------------------------------------------------------- + ✓ 第一轮废话 → parse_failed + ✓ 第一轮废话 → 不是 unsolvable + ✓ 第一轮废话 → plan 保持 None（不退化成 []） + ✓ 修复轮废话 → parse_failed + ✓ 修复轮废话 → 不是 unsolvable + ✓ 真的拒绝 → unsolvable + ✓ 真的拒绝 → 不是 parse_failed + +五、执行层：抓取失败必须报失败，不许顺着往下跑 +-------------------------------------------------------------------- + ✓ 抓空 → pick 判失败 + ✓ 抓空 → 整条计划中止在第 2 步 + +六、执行层：球没进桶时 place 必须判失败 +-------------------------------------------------------------------- + ✓ 松手了但球没进桶 → place 判失败 + ✓ 失败证据里带落点偏差 + ✓ 判定用的是真值而不是那份错估计（偏差应当很大） + +==================================================================== +失败路径考卷：23/23 +==================================================================== +``` + +### 1.2 `tools/llm_offline_check.py` — 规划链路离线验证　exit=0 + +不联网，用手写的「模型输出」把 解析 → 校验 → 修复 → 执行 跑通。 + +```text +======================================================================== +第七步离线验证：自然语言 → JSON plan +======================================================================== + +喂给模型的技能说明（由 sim.skills.SKILLS 自动渲染）： +- move_to(target(string，必填))：移动到目标附近并对准它（停在抓取窗口中心，约 16.7cm） +- pick(object(string，必填))：抓起物体。调用前必须已经 move_to 到位，否则直接失败 +- place(target(string，必填))：把手上的东西放下。调用前手上必须有东西 +- return_home(无参数)：原路返回：回到执行开始时的位置和朝向 + +用例 修复 合法 结果 +------------------------------------------------------------------------ +干净的 JSON 否 是 ✓ 计划合法 +裹了 markdown 围栏 否 是 ✓ 计划合法 +前面加了一句废话 否 是 ✓ 计划合法 +做不到的指令，空数组 否 是 ✓ 空计划（判定为做不到） +编了个不存在的技能 → 修复 是 是 ✓ 计划合法 +漏了必填参数 → 修复 是 是 ✓ 计划合法 +两轮都不合法 → 认输，不再重试 是 否 ✓ 第 1 步用了未知技能 teleport（已注册：move_to, pick +JSON 都不合法 → 修复 是 是 ✓ 计划合法 + +------------------------------------------------------------------------ +拿其中一条合法计划真的跑一遍（替身 + 上帝视角） +------------------------------------------------------------------------ +计划： [{"op": "move_to", "args": {"target": "球"}}, {"op": "pick", "args": {"object": "球"}}, {"op": "move_to", "args": {"target": "桶"}}, {"op": "place", "args": {"target": "桶"}}, {"op": "return_home", "args": {}}] + step1 move_to ✓ | 已到位，距目标 16.9cm（目标 16.7cm） + step2 pick ✓ | 抓到了，1.2s 到 holding + step3 move_to ✓ | 已到位，距目标 18.0cm（目标 16.7cm） + step4 place ✓ | 放下了，1.0s 回 idle；落点距 桶 中心 1.3cm，进了 + step5 return_home ✓ | 回到起点 0.9cm 内，朝向残差 +2.4° + +用例全过：是 计划执行 成功 +``` + +### 1.3 `tools/calib.py` — 运动标定　exit=0 + +```text +================================================================ +第二步：运动标定 +transport = FAKE 本地替身（语义对齐线上 bundle） +================================================================ + +命令 期望 实测 误差 自停 耗时 +---------------------------------------------------------------- +left angle=90 90.00 89.37 -0.63 是 3.7s +right angle=90 -90.00 -88.74 +1.26 是 3.7s +left angle=45 45.00 45.27 +0.27 是 2.9s +right angle=180 -180.00 -176.92 +3.08 是 5.1s +up distance=20 20.00 20.03 +0.03 是 4.1s +up distance=50 50.00 49.73 -0.27 是 7.0s +up distance=100 100.00 98.23 -1.77 是 11.9s + +结论： + 自停：全部自停，闭环只需下发 distance/angle，不用计时+stop + 转向误差：均值 +0.99° 最大 3.08° 相对 1.71% + 直行误差：均值 -0.67cm 最大 1.77cm 相对 1.77% + → 单次开环打不准，第三步必须写成「测量-下发-再测量」的闭环 + 当前容差设定：到位 4.0cm / 对准 5.0°（sim/config.py） +``` + +### 1.4 `tools/perception_demo.py` — 感知层四段验证　exit=0 + +```text +======================================================================== +第五步：感知层 +transport = FAKE 本地替身（语义对齐线上 bundle） +FOV ±60° 量程 250cm sigma = 1.0 + 0.03·d 衰减 出视野×0.98 / 漏检×0.6 +======================================================================== + +------------------------------------------------------------------------ +A 正对球站着：球在视野内，置信度应当上升 +------------------------------------------------------------------------ +tick 对象 conf 相对角 距离cm sigma 误差cm 状态 +1 ball 0.45 0.0 55.6 2.67 2.45 检出 +1 bucket 0.00 -180.0 55.6 2.67 - 未见过 +2 ball 0.70 0.0 55.6 2.67 7.21 检出 +2 bucket 0.00 -180.0 55.6 2.67 - 未见过 +3 ball 0.83 0.0 55.6 2.67 5.26 检出 +3 bucket 0.00 -180.0 55.6 2.67 - 未见过 +4 ball 0.50 0.0 55.6 2.67 5.26 视野内漏检 +4 bucket 0.00 -180.0 55.6 2.67 - 未见过 +5 ball 0.72 0.0 55.6 2.67 4.02 检出 +5 bucket 0.00 -180.0 55.6 2.67 - 未见过 +6 ball 0.85 0.0 55.6 2.67 3.30 检出 +6 bucket 0.00 -180.0 55.6 2.67 - 未见过 +7 ball 0.51 0.0 55.6 2.67 3.30 视野内漏检 +7 bucket 0.00 -180.0 55.6 2.67 - 未见过 +8 ball 0.73 0.0 55.6 2.67 2.19 检出 +8 bucket 0.00 -180.0 55.6 2.67 - 未见过 + +------------------------------------------------------------------------ +B 转 180° 背对球：球出视野走慢衰减，桶进视野开始上升 +------------------------------------------------------------------------ +tick 对象 conf 相对角 距离cm sigma 误差cm 状态 +9 ball 0.72 178.7 55.6 2.67 2.19 出视野 +9 bucket 0.45 -1.3 55.6 2.67 2.86 检出 +10 ball 0.70 178.7 55.6 2.67 2.19 出视野 +10 bucket 0.70 -1.3 55.6 2.67 1.99 检出 +11 ball 0.69 178.7 55.6 2.67 2.19 出视野 +11 bucket 0.83 -1.3 55.6 2.67 1.77 检出 +12 ball 0.67 178.7 55.6 2.67 2.19 出视野 +12 bucket 0.91 -1.3 55.6 2.67 1.06 检出 +13 ball 0.66 178.7 55.6 2.67 2.19 出视野 +13 bucket 0.95 -1.3 55.6 2.67 0.13 检出 +14 ball 0.65 178.7 55.6 2.67 2.19 出视野 +14 bucket 0.97 -1.3 55.6 2.67 1.04 检出 +15 ball 0.63 178.7 55.6 2.67 2.19 出视野 +15 bucket 0.98 -1.3 55.6 2.67 1.26 检出 +16 ball 0.62 178.7 55.6 2.67 2.19 出视野 +16 bucket 0.99 -1.3 55.6 2.67 1.38 检出 + +------------------------------------------------------------------------ +C 桶还在视野里，但把检测器打成必漏：视野内漏检走快衰减 +------------------------------------------------------------------------ +tick 对象 conf 相对角 距离cm sigma 误差cm 状态 +17 bucket 0.59 -1.3 55.6 2.67 1.38 视野内漏检 +18 bucket 0.36 -1.3 55.6 2.67 1.38 视野内漏检 +19 bucket 0.21 -1.3 55.6 2.67 1.38 视野内漏检 +20 bucket 0.13 -1.3 55.6 2.67 1.38 视野内漏检 +21 bucket 0.08 -1.3 55.6 2.67 1.38 视野内漏检 +22 bucket 0.00 -1.3 55.6 2.67 - 已遗忘 +23 bucket 0.00 -1.3 55.6 2.67 - 未见过 +24 bucket 0.00 -1.3 55.6 2.67 - 未见过 + +------------------------------------------------------------------------ +D 两档衰减对照 + 感知误差基线 +------------------------------------------------------------------------ + 8 帧后残留比例：出视野 0.851 vs 视野内漏检 0.017 （相差 51 倍） + 帧数 24 检出率 0.583 + 原始观测误差 raw：n=14 均值 4.0cm 最大 11.44cm + 平滑估计误差 est：n=14 均值 2.57cm 最大 7.21cm + → 置信度加权平滑把平均误差压掉 36% +``` + +### 1.5 `run_sim.py --demo` — 五步计划，上帝视角　exit=0 + +```text + +【计划】来源：内置手写计划 +[ + { + "op": "move_to", + "args": { + "target": "球" + } + }, + { + "op": "pick", + "args": { + "object": "球" + } + }, + { + "op": "move_to", + "args": { + "target": "桶" + } + }, + { + "op": "place", + "args": { + "target": "桶" + } + }, + { + "op": "return_home", + "args": {} + } +] +【VALIDATE】通过 + +【机器人】FAKE 本地替身（语义对齐线上 bundle） +【感知】上帝视角（--perception 换成带噪感知） +======================================================================== +执行计划：5 步 起点 pose=(0.000, 0.000, 180.0°) hasBall=False arm=idle grabAvail=False ball=(0.000, -5.000) +======================================================================== + +[第 1/5 步] move_to({"target": "球"}) + 目标 球 → (0.000, -5.000) 来源=state.ballPosition 置信度=1.00 + goto 第1次：距 55.6cm，up 38.9cm + ✓ 已到位，距目标 16.9cm（目标 16.7cm） + 状态 pose=(0.000, -3.475, 180.0°) hasBall=False arm=idle grabAvail=True ball=(0.000, -5.000) + +[第 2/5 步] pick({"object": "球"}) + ✓ 抓到了，1.2s 到 holding + 状态 pose=(0.000, -3.475, 180.0°) hasBall=True arm=holding grabAvail=False ball=(在夹爪里) + +[第 3/5 步] move_to({"target": "桶"}) + 目标 桶 → (0.000, 5.000) 来源=先验常量 置信度=1.00 + face_to 第1次：偏 -180.0°，right 100.0°（限幅，剩下的下一轮再转） + face_to 第2次：偏 -81.4°，right 81.4° + goto 第1次：距 94.2cm，up 77.5cm + ✓ 已到位，距目标 18.0cm（目标 16.7cm） + 状态 pose=(-0.059, 3.380, -0.5°) hasBall=True arm=holding grabAvail=False ball=(在夹爪里) + +[第 4/5 步] place({"target": "桶"}) + face_to 第1次：偏 +2.6°，left 2.6° + ✓ 放下了，1.0s 回 idle；落点距 桶 中心 1.3cm，进了 + 状态 pose=(-0.059, 3.380, 2.1°) hasBall=False arm=idle grabAvail=True ball=(-0.004, 4.879) + +[第 5/5 步] return_home({}) + face_to 第1次：偏 +176.9°，left 100.0°（限幅，剩下的下一轮再转） + face_to 第2次：偏 +77.5°，left 77.5° + goto 第1次：距 37.6cm，up 37.6cm + ✓ 回到起点 0.9cm 内，朝向残差 +2.4° + 状态 pose=(0.081, 0.001, 177.6°) hasBall=False arm=idle grabAvail=False ball=(-0.004, 4.879) + +======================================================================== +结果：5/5 步成功 +======================================================================== +``` + +### 1.6 `run_sim.py --demo --perception` — 同一条计划，换带噪感知　exit=0 + +```text + +【计划】来源：内置手写计划 +[ + { + "op": "move_to", + "args": { + "target": "球" + } + }, + { + "op": "pick", + "args": { + "object": "球" + } + }, + { + "op": "move_to", + "args": { + "target": "桶" + } + }, + { + "op": "place", + "args": { + "target": "桶" + } + }, + { + "op": "return_home", + "args": {} + } +] +【VALIDATE】通过 + +【机器人】FAKE 本地替身（语义对齐线上 bundle） +【感知】FOV ±60° sigma = 1.0 + 0.03·d cm 衰减 出视野×0.98 / 漏检×0.6 +======================================================================== +执行计划：5 步 起点 pose=(0.000, 0.000, 180.0°) hasBall=False arm=idle grabAvail=False ball=(0.000, -5.000) +======================================================================== + +[第 1/5 步] move_to({"target": "球"}) + 目标 球 → (0.360, -4.970) 来源=perception/检出 置信度=0.72 + goto 第1次：距 55.4cm，up 38.7cm + ✓ 已到位，距目标 17.3cm（目标 16.7cm） + 状态 pose=(0.000, -3.458, 180.0°) hasBall=False arm=idle grabAvail=True ball=(0.000, -5.000) + +[第 2/5 步] pick({"object": "球"}) + ✓ 抓到了，1.2s 到 holding + 状态 pose=(0.000, -3.458, 180.0°) hasBall=True arm=holding grabAvail=False ball=(在夹爪里) + +[第 3/5 步] move_to({"target": "桶"}) + 没看见 桶（没看见 bucket（置信度 0.00，状态 未见过）），原地搜索 + 目标 桶 → (0.121, 4.944) 来源=perception/检出 置信度=0.88 + goto 第1次：距 93.4cm，up 76.7cm + ✓ 已到位，距目标 18.1cm（目标 16.7cm） + 状态 pose=(-0.085, 3.326, -0.7°) hasBall=True arm=holding grabAvail=False ball=(在夹爪里) + +[第 4/5 步] place({"target": "桶"}) + face_to 第1次：偏 +2.8°，left 2.8° + ✓ 放下了，1.0s 回 idle；落点距 桶 中心 2.0cm，进了 + 状态 pose=(-0.085, 3.326, 2.1°) hasBall=False arm=idle grabAvail=True ball=(-0.029, 4.825) + +[第 5/5 步] return_home({}) + face_to 第1次：偏 +176.4°，left 100.0°（限幅，剩下的下一轮再转） + face_to 第2次：偏 +76.9°，left 76.9° + goto 第1次：距 37.0cm，up 37.0cm + ✓ 回到起点 0.9cm 内，朝向残差 +2.8° + 状态 pose=(0.079, 0.002, 177.2°) hasBall=False arm=idle grabAvail=False ball=(-0.029, 4.825) + +======================================================================== +结果：5/5 步成功 +======================================================================== + +【感知误差基线】帧数 25 检出率 0.867 + 原始观测 raw：均值 3.71cm 最大 11.44cm + 平滑估计 est：均值 2.77cm 最大 7.21cm +``` + +### 1.7 `run_sim.py --demo --dry-run` — 只出计划和校验，不碰机器人　exit=0 + +```text + +【计划】来源：内置手写计划 +[ + { + "op": "move_to", + "args": { + "target": "球" + } + }, + { + "op": "pick", + "args": { + "object": "球" + } + }, + { + "op": "move_to", + "args": { + "target": "桶" + } + }, + { + "op": "place", + "args": { + "target": "桶" + } + }, + { + "op": "return_home", + "args": {} + } +] +【VALIDATE】通过 + +--dry-run：只出计划，不执行 +``` + +### 1.8 `run_sim.py --goal "走到球那里，抓起来"` — 无密钥　exit=1 + +干净拒绝，没有拿空计划冒充「跑过了」。 + +```text +【PLAN】调大模型拆解：走到球那里，抓起来 + 拆解失败：请先设置 LLM_BASE_URL 和 LLM_API_KEY + （需要 LLM_BASE_URL / LLM_API_KEY / LLM_MODEL；只想离线验证规划链路就跑 tools/llm_offline_check.py） +``` + +--- + +## 2. 定点探针：验证报告 §2 那几处「判定偏宽」 + +不是仓库里的脚本，是本次审查为了坐实 §2.1–§2.4 四条结论临时写的。 +在 3.9.6 和 3.12.13 上各跑一遍，结论一致。源码见 §5，方便复现。 + +### 2.1 探针输出（uv / 3.12.13）　exit=0 + +```text +====================================================================== +探针 1：place 的目标名字不在 truth_resolver 认识的范围内时，还核不核落点 +====================================================================== +move_to 球: True +pick 球: True +move_to 桌子: True +place 桌子 → success = True + detail : 放下了，1.0s 回 idle + evidence : {'arm_state': 'idle', 'has_ball': False, 'ball_xz': [-0.002, 2.914], 'sec': 1.0} + 有没有 miss_cm / inside_target 这两项落点证据： False / False + 球实际落在: (-0.0, 2.91) 桶在: (0.0, 5.0) + +====================================================================== +探针 2：命令完全没生效时 turn_by 报什么 +====================================================================== +turn_by(90) 在命令被吞掉时 → success = True + detail : 转了 +0.0°（命令 +90.0°） + evidence: {'turned': 0.0, 'commanded': 90.0} + +====================================================================== +探针 3：goto 的近距离豁免分支（distance < 6cm 且 stop_cm <= 6cm） +====================================================================== +goto(stop_cm=0) 距目标 5.5cm 时 → success = True + detail : 已到达目标点（距 5.5cm，小于 6cm 不再修方位） + 容差是 STOP_TOLERANCE_CM = 4.0 cm，实际残差 5.5cm + → 上层 op_return_home 会不会二次把关： return_home success = False | 返回不达标：距起点 5.5cm，朝向残差 +0.0° + +====================================================================== +探针 4：move_to 在感知模式下，成功是相对『估计值』还是『真值』判的 +====================================================================== +move_to 球（估计偏 3 单位）→ success = True | 已到位，距目标 16.7cm（目标 16.7cm） + 离真球其实还有 50.0cm（目标是 16.7cm） + 紧接着 pick → success = False | 不在抓取窗口内：距球 16.7cm 偏 +0.0°（窗口中心 16.7cm） +``` + +怎么读这份输出： + +| 探针 | 结论 | 报告对应 | +|---|---|---| +| 1 | `place` 的目标不在 `truth_resolver` 认识的范围内时，落点核验被整段跳过，球掉在 `(0, 2.91)`（桶在 `(0,5)`）照样判成功，证据里连 `miss_cm` 都没有 | §2.1 **要改** | +| 2 | 命令被吞掉时 `turn_by` 报 `success=True / 转了 +0.0°` | §2.2 建议改 | +| 3 | `goto` 近距离豁免放过 5.5cm 残差（容差 4cm），但外层 `return_home` 复核把它判失败了 | §2.3 可接受 | +| 4 | 感知模式下 `move_to` 是对着「估计值」判到位的（实际离真球还有 50cm 仍判成功），但紧接着的 `pick` 用 `grabAvailable` 拦下了 | §2.4 设计如此 | + +--- + +## 3. 线上真机：只读探测 + +只发了**一次** `GET /api/car/state`，没有发任何 `/api/control` 命令， +不会影响别人正在用的仿真器。 + +```text +$ GET https://simcar.chenlongrobot.com/api/car/state?clientId=car-wrcodx7gk + +{"x": 0.11367703790014727, "z": 0.2457107101164616, + "rotation": 10.10775727467471, "velocity": 0, "angularVelocity": 0, + "armState": "idle", "hasBall": false, "isColliding": false, + "grabAvailable": false, + "ballPosition": {"x": -0.03232831796923475, "z": 4.898211947669489}} +``` + +两处推算： + +```text +球距桶心 = hypot(-0.0323 - 0, 4.8982 - 5) / 0.09 = 1.19 cm + → 和 README 里真机结论「落点距桶心 1.2cm」对得上 + → 同时印证 docs/stage2-sim-spec.md §0：没有页面连着时， + state 返回的是上一个浏览器留下的缓存帧 + +rotation = 10.10775727467471 rad = 579.1°，归一化后 -140.9° + → 线上 rotation 不归一化。所有参与判定的角度运算都过了 norm()， + 不受影响；只有 sim/plan_runner.py:27 的日志会原样打成 579.1° +``` + +--- + +## 4. octos / 编排层（本轮未复跑，保留上一轮 3.9.6 的输出） + +按要求跳过。以下是上一轮在系统 Python 3.9.6 上采集的原始输出，原样留档。 + +注：`tools/fault_check.py` 的第一、二、三考区考的正是 +`benchmarks/run_bench.py` 的判定函数，所以 §1.1 那 23/23 里**已经包含**它们。 + +### 4.1 `benchmarks/run_bench.py --planner mock`　exit=0 + +```text +============================================================ +planner = mock +raw 16/20 +final 16/20 +绑定 11/12（只在技能序列已正确的用例上判；序列对但目标绑错的：c16） +解析失败 0 条 ← 算失败、进分母，不是 ERROR +error 0 条 +触发计划级修复：0 条 +------------------------------------------------------------ + [OK] c01 raw=OK final=OK [绑定对] 把地上的球捡起来放桌上 + [OK] c02 raw=OK final=OK [绑定对] 把桌上的杯子拿起来放到垃圾桶里 + [OK] c03 raw=OK final=OK [绑定对] 把地上的瓶子捡起来放进箱子里 + [OK] c04 raw=OK final=OK [绑定对] 把那个玩具捡起来放到沙发上 + [OK] c05 raw=OK final=OK [绑定对] 把地上的苹果抓起来放在盘子里 + [OK] c06 raw=OK final=OK [绑定对] 把球捡起来 + [OK] c07 raw=OK final=OK [绑定对] 把地上的杯子拿起来 + [OK] c08 raw=OK final=OK [绑定对] 去垃圾桶那边 + [OK] c09 raw=OK final=OK [绑定对] 走到桌子旁边 + [OK] c10 raw=OK final=OK [绑定对] 移动到门口 + [OK] c11 raw=OK final=OK 帮我叠衣服 + [OK] c12 raw=OK final=OK 给我讲个笑话 + [OK] c13 raw=OK final=OK 打扫一下房间 + [OK] c14 raw=OK final=OK 把灯打开 + [XX] c15 raw=XX final=XX 球在地上，帮我捡起来放到桌子上 + [OK] c16 raw=OK final=OK [绑定错] 先移动到球旁边，再把它捡起来，然后拿到桌子那儿放下 + [XX] c17 raw=XX final=XX 麻烦把地上那颗球捞起来放桌子上 + [XX] c18 raw=XX final=XX 桌子上的杯子要拿去洗手台放着 + [OK] c19 raw=OK final=OK [绑定对] 把地上的书本捡起来，放到书架上 + [XX] c20 raw=XX final=XX 能不能把垃圾捡起来扔到垃圾桶 +------------------------------------------------------------ +校验层（validate_plan 单测）：5/5 + [OK] v01 技能名编造 + [OK] v02 缺必填参数 target + [OK] v03 必填参数为空字符串 + [OK] v04 步骤缺 skill 字段 + [OK] v05 计划根本不是数组 +============================================================ +``` + +### 4.2 `benchmarks/test_repair.py`　exit=0 + +```text +.... +---------------------------------------------------------------------- +Ran 4 tests in 0.001s + +OK +``` + +### 4.3 `benchmarks/run_bench.py --planner llm`（无环境变量）　exit=1 + +前置检查生效，不跑空转。 + +```text +缺少必需的环境变量，无法以 --planner llm 运行： + - LLM_BASE_URL + - LLM_API_KEY + +示例： + export LLM_BASE_URL=https://api.openai.com/v1 + export LLM_API_KEY=sk-... +``` + +### 4.4 `run.py "把地上的球捡起来放桌上"`　exit=0 + +```text +============================================================ +用户指令：把地上的球捡起来放桌上 +============================================================ + +【PLAN】用 mock planner 拆解 +[ + { + "skill": "move_to", + "args": { + "target": "球" + } + }, + { + "skill": "pick", + "args": { + "object": "球" + } + }, + { + "skill": "move_to", + "args": { + "target": "桌" + } + }, + { + "skill": "place", + "args": { + "target": "桌" + } + } +] + +【VALIDATE】通过 + +【EXECUTE】开始逐步执行 + +[第 1 步] move_to({"target": "球"}) + EXECUTE 第 1 次尝试 + JUDGE success=True 已移动到 球 附近 + +[第 2 步] pick({"object": "球"}) + EXECUTE 第 1 次尝试 + JUDGE success=False 抓 球 失败：夹爪滑脱 + RETRY 重试 + EXECUTE 第 2 次尝试 + JUDGE success=True 已抓起 球（第 2 次尝试） + +[第 3 步] move_to({"target": "桌"}) + EXECUTE 第 1 次尝试 + JUDGE success=True 已移动到 桌 附近 + +[第 4 步] place({"target": "桌"}) + EXECUTE 第 1 次尝试 + JUDGE success=True 已放置到 桌 + +============================================================ +结果：成功 —— 全部步骤完成 +完成步数：4 / 4 +总尝试次数：5 +============================================================ +``` + +### 4.5 `run.py "把球捡起来" --retries 0`　exit=1 + +看失败中止。 + +```text +============================================================ +用户指令：把球捡起来 +============================================================ + +【PLAN】用 mock planner 拆解 +[ + { + "skill": "move_to", + "args": { + "target": "球" + } + }, + { + "skill": "pick", + "args": { + "object": "球" + } + } +] + +【VALIDATE】通过 + +【EXECUTE】开始逐步执行 + +[第 1 步] move_to({"target": "球"}) + EXECUTE 第 1 次尝试 + JUDGE success=True 已移动到 球 附近 + +[第 2 步] pick({"object": "球"}) + EXECUTE 第 1 次尝试 + JUDGE success=False 抓 球 失败：夹爪滑脱 + REPORT 第 2 步放弃 + +============================================================ +结果：失败 —— 第 2 步失败：抓 球 失败：夹爪滑脱 +完成步数：1 / 2 +总尝试次数：2 +============================================================ +``` + +### 4.6 `run.py "帮我叠衣服"`　exit=1 + +看拆不出来时怎么办。 + +```text +============================================================ +用户指令：帮我叠衣服 +============================================================ + +【PLAN】用 mock planner 拆解 +[] + +模型给了空计划。这条指令要么超出当前技能范围，要么该进澄清流程。 +``` + +--- + +## 5. 附录：§2 探针脚本源码 + +留在这里是为了让 §2 的四条结论可复现。要长期守住其中两条， +更该做的是把它们补进 `tools/fault_check.py` 当第七、第八考区（见报告 §3.5）。 + +```python +#!/usr/bin/env python3 +"""针对 review 中怀疑的「宽判/虚假判定」路径做定点验证。""" +import sys +sys.path.insert(0, "/Users/ken/robot-octos-demo") + +from sim import config +from sim import primitives as P +from sim.client import make_bot +from sim.skills import SKILLS, Context, truth_resolver + +print("=" * 70) +print("探针 1：place 的目标名字不在 truth_resolver 认识的范围内时，还核不核落点") +print("=" * 70) +bk = make_bot("fake", verbose=False) +bk.reset() + +def table_resolver(ctx, obj_id): + # 让 move_to / place 都能解析到「桌子」这个不存在的对象（给个远处坐标） + if obj_id == "桌子": + return {"ok": True, "x": 0.0, "z": 3.0, "source": "假的", "conf": 1.0, + "detail": "仿真里没有桌子，硬造一个"} + return truth_resolver(ctx, obj_id) + +ctx = Context(bk, resolver=table_resolver) +print("move_to 球:", SKILLS["move_to"]["fn"](ctx, {"target": "球"})["success"]) +print("pick 球:", SKILLS["pick"]["fn"](ctx, {"object": "球"})["success"]) +print("move_to 桌子:", SKILLS["move_to"]["fn"](ctx, {"target": "桌子"})["success"]) +r = SKILLS["place"]["fn"](ctx, {"target": "桌子"}) +print("place 桌子 → success =", r["success"]) +print(" detail :", r["detail"]) +print(" evidence :", {k: v for k, v in r["evidence"].items() if k != "approach"}) +print(" 有没有 miss_cm / inside_target 这两项落点证据：", + "miss_cm" in r["evidence"], "/", "inside_target" in r["evidence"]) +st = bk.state() +print(" 球实际落在:", (round(st['ballPosition']['x'], 2), round(st['ballPosition']['z'], 2)), + " 桶在:", config.BUCKET_XZ) + +print() +print("=" * 70) +print("探针 2：命令完全没生效时 turn_by 报什么") +print("=" * 70) +bk2 = make_bot("fake", verbose=False) +bk2.reset() +orig_send = bk2.tp.send +bk2.tp.send = lambda action, **kw: {"success": True, "command": kw, "target": "黑洞"} # 广播到空房间 +r2 = P.turn_by(bk2, 90) +print("turn_by(90) 在命令被吞掉时 → success =", r2["success"]) +print(" detail :", r2["detail"]) +print(" evidence:", r2["evidence"]) + +print() +print("=" * 70) +print("探针 3：goto 的近距离豁免分支（distance < 6cm 且 stop_cm <= 6cm）") +print("=" * 70) +bk3 = make_bot("fake", verbose=False) +bk3.reset() +st = bk3.state() +# 造一个距车 5.5cm 的目标，要求 stop_cm=0（即「站到它头上」） +import math +d_unit = 5.5 * config.CM2UNIT +target = {"x": st["x"] + math.sin(st["rotation"]) * d_unit, + "z": st["z"] + math.cos(st["rotation"]) * d_unit} +r3 = P.goto(bk3, target, stop_cm=0.0) +print("goto(stop_cm=0) 距目标 5.5cm 时 → success =", r3["success"]) +print(" detail :", r3["detail"]) +print(" 容差是 STOP_TOLERANCE_CM =", config.STOP_TOLERANCE_CM, "cm，实际残差 5.5cm") +print(" → 上层 op_return_home 会不会二次把关：", end=" ") +ctx3 = Context(bk3, resolver=truth_resolver) +ctx3.home = {"x": target["x"], "z": target["z"], "rotation": st["rotation"]} +bk3.reset() +r3b = SKILLS["return_home"]["fn"](ctx3, {}) +print("return_home success =", r3b["success"], "|", r3b["detail"]) + +print() +print("=" * 70) +print("探针 4：move_to 在感知模式下，成功是相对『估计值』还是『真值』判的") +print("=" * 70) +bk4 = make_bot("fake", verbose=False) +bk4.reset() + +def liar(ctx, obj_id): + if obj_id == "ball": + return {"ok": True, "x": 0.0, "z": -2.0, "source": "偏 3 单位的估计", + "conf": 0.9, "detail": "故意估偏"} + return truth_resolver(ctx, obj_id) + +ctx4 = Context(bk4, resolver=liar) +r4 = SKILLS["move_to"]["fn"](ctx4, {"target": "球"}) +st4 = bk4.state() +true_gap = bk4.dist_to_cm({"x": config.BALL_XZ_AT_RESET[0], "z": config.BALL_XZ_AT_RESET[1]}, st4) +print("move_to 球（估计偏 3 单位）→ success =", r4["success"], "|", r4["detail"]) +print(" 离真球其实还有 %.1fcm（目标是 %.1fcm）" % (true_gap, config.APPROACH_CM)) +r4b = SKILLS["pick"]["fn"](ctx4, {"object": "球"}) +print(" 紧接着 pick → success =", r4b["success"], "|", r4b["detail"]) +``` diff --git "a/docs/src/yangzheng/\345\221\250\346\212\245/\347\254\2544\345\221\250-2026-08-08~2026-08-14.md" "b/docs/src/yangzheng/\345\221\250\346\212\245/\347\254\2544\345\221\250-2026-08-08~2026-08-14.md" new file mode 100644 index 0000000..ddd7aae --- /dev/null +++ "b/docs/src/yangzheng/\345\221\250\346\212\245/\347\254\2544\345\221\250-2026-08-08~2026-08-14.md" @@ -0,0 +1,305 @@ +# World Model 判定可靠性专项（2026-08-08 ~ 2026-08-14） + +> 杨铮 · World Model + 视觉判定内核 +> 阶段声明：骨架上周已跑通，本周做**判定可靠性专项** —— 从「能跑」到「判得住」 +> 代码仓库：`wm_kit` + +> 口径说明：本报告区分「已验证」与「未验证」。本周全部实验基于 mock 数据与构造快照， +> 无真机、无真实检测器；结论对应的场景形态是真实的，但**假阳率的量化需要真实数据集，本周不给数字**。 + +--- + +## 一、本周工作总览 + +| 日期 | 主题 | 结果 | +| --- | --- | --- | +| 08-11 | 判定内核静态复核（`judge/` + `world_model/` 共 9 个模块） | 已完成，15 处问题 | +| 08-11 | 编写对抗探针 `tools/false_verdict_probe.py`，量化虚假判定 | 已完成，14 用例 13 个暴露问题 | +| 08-11 | 修复判定链路四条根因 + 关联/平滑/契约共 10 项 | 已完成 | +| 08-11 | 补 `tests/test_judge.py`，单测 16 → 49 | 已完成 | +| 08-11 | 修复前后各跑一遍并留档 6 份日志 | 已完成 | +| 08-14 | 复核报告、代码工作总结、DESIGN 第十节回写 | 已完成 | + +上周基线：World Model 骨架 + `evidence` 字段填充（commit `0669211`），16 条单测全绿、demo 跑通。 +本周不新增功能，只做一件事：**验证上周那套判定到底判得准不准，然后把不准的地方修掉。** + +--- + +## 二、问题定义 + +### 2.1 判定内核要回答的问题 + +判定内核回答「这件事成没成」。它存在的理由是：**技能返回 `success` ≠ 任务完成**。 +`MockJudge` 的 `evidence` 恒为 `{}` 时，判定只能转发技能自报的结果，无法拒绝「命令发完但车没走到」这类假完成。 + +所以判定的依据必须是感知事实，形式是**动作前后两份世界快照的差分**： + +``` +判定"球进桶了吗" ≠ 技能说它放了 + = 我看见这个球，动作前不在桶里，动作后在桶里 +``` + +### 2.2 本周暴露的真问题 + +上周骨架的验收状态是：16 条单测全绿、`run_demo.py` 打印 `success = True`、`evidence` 不再是空字典。 +本周第一件事就发现这个验收**不成立**： + +> **16 条单测一条都没测 `judge/`。** 全部测的是 `world_model/` 的信念维护， +> 判定链路零覆盖。绿灯与判定正确性无关。 + +补上覆盖后，判定内核实际回答的并不是 2.1 那个问题，而是： + +> 「此刻场景里存不存在一个叫 `ball` 的东西离 `basket` 足够近」 + +这两个问题在干净的 mock 场景里恰好同解，在有干扰物、有断轨、有遮挡的真实数据上会分开。 + +### 2.3 把问题变成可度量的形式 + +定义两类错误，对判定服务来说后果不同： + +| | 定义 | 后果 | +| --- | --- | --- | +| **假阳性** | 事情没成，判定说成了 | 上层认为任务完成，不重试 —— 错误静默累积，最危险 | +| **假阴性** | 事情成了，判定说没成 | 无谓重试，浪费闭环时间 | + +验收标准：构造真实数据里的常见形态（干扰物 / 断轨 / 自遮挡 / 单帧误检 / 时钟不一致）， +**假阳性与假阴性都必须为 0**；修不掉的要明确标成能力边界，不能混在通过项里。 + +--- + +## 三、解决思路 + +### 3.1 先定位根因，不逐条打补丁 + +15 处问题收敛到 5 个根因，其中 4 个在判定层、1 个在关联层： + +| # | 根因 | 表现 | +| --- | --- | --- | +| 1 | **判定对象没有身份** —— 按 `name` 取 `max(confidence)` | 干扰物 / 断轨残留 / 单帧误检都可能被抽中当判定主语 | +| 2 | **只看 `after` 不看变化** | 动作前就已满足的状态被当成本次动作的成果 | +| 3 | **护栏是事后 warning，不是前置条件** | 两条判定路径口径不一致；状态机 `confirm_hits` 从没被查过 | +| 4 | **时间基准未定义** | `age()` 把负数夹成 0，`now` 漏传时陈旧度护栏静默失效 | +| 5 | **固定门控 0.5m 在长帧间隔下断轨** | 上周已自标 P1，本周发现它会一路传导成判定翻转，**提到 P0** | + +### 3.2 四条修复主线 + +**主线一：判定主语用 id 锁定，不靠名字猜。** +用 `before` 锁定 `obj_id`，在 `after` 里按同一 id 找。找不到同 id 说明断轨或物体被换掉， +报 `identity_broken` 并判失败 —— **不拿另一个同名物体顶替**。同名多实例报 `ambiguous_target`。 +`WorldModel` 辛苦维护的 id 稳定性，原来到判定层被整个丢掉了。 + +**主线二：判据从「状态满足」改成「状态变化」。** +要求 `before` 不满足且 `after` 满足，否则 `no_state_change`。 +`verdict_basis` 自称 `world_model_diff`，就不能只读 `after`。 + +**主线三：护栏改成统一前置条件，输出机器可读原因码。** + +``` +锁定主语 before 的 obj_id ─▶ after 找同 id 失败: identity_broken · ambiguous_target +证据质量 CONFIRMED + 置信度 + 陈旧度 + 时钟 失败: unconfirmed_track · low_confidence + stale_evidence · clock_skew +几何 目标整体落入容器投影（扣目标半径） 失败: geometry_not_satisfied +状态变化 before 不满足 且 after 满足 失败: no_state_change +动作完成 夹爪已松开 失败: still_grasped + │ + ▼ +verdict.success（唯一结论）+ reasons（机器读）+ warnings（人读）+ caveats（能力边界） +``` + +`caveats` 是本周新增的概念：**不阻断判定、但下游必须知道的能力边界**。 +比如每条容器判定都带 `no_height_evidence` —— 判定可以给，但要说清它看不见什么。 + +**主线四：时钟如实暴露。** +`age()` 不再夹取负值，判定层显式检出 `clock_skew`。夹成 0 等于把很旧的快照说成「刚刚看到」。 + +### 3.3 不动冻结的契约 + +判定要做对，需要几样 `JudgeRequest` 里没有的输入（`target_id`、`gripper_pose`）。 +外壳已冻结，**没有偷偷改契约**，而是新增 `JudgeContext` 旁路对象传， +并把「需要外壳补充哪些字段」写进待确认清单。 +不传这些字段时，判定保守失败并给出原因码，**不假装确认**。 + +### 3.4 关联层的连带修复 + +门控改成随 dt 缩放 `gate = min(base + v_max·dt, 上限)` 后，暴露出一个连带问题： +固定 EMA 平滑在大位移后把位置留在起终点之间 —— 球明明进了桶，融合坐标却停在半路， +会变成新的假阴性。一并改成时间常数固定的指数滤波，名义帧间隔下与原行为逐位一致。 + +--- + +## 四、实验结果 + +### 4.1 实验方法 + +新增 `tools/false_verdict_probe.py`：每个用例**声明物理事实上应有的判定**， +与系统实际输出比对，`PASS` / `FAIL` / `KNOWN`（已知能力边界）。 +结论由脚本从实际输出推导后打印，不是写死的断言文案；有假判定时进程返回非零退出码。 + +环境：Python 3.9.6 + pytest 8.4.2（临时 venv，**仓库零外部依赖不变**）。 + +### 4.2 关键实验：判定会不会随检测分数翻转 + +同一物理事实（球在桶里），只改桶里那个球的检测置信度： + +``` +修复前 + conf=0.88 → _find 抽中 ball_003 → success=True | ball 距 basket 2.24cm + conf=0.55 → _find 抽中 ball_001 → success=False | ball 距 basket 86.1cm + +修复后 + conf=0.88 → ball_001 → success=True + conf=0.70 → ball_001 → success=True + conf=0.55 → ball_001 → success=True +``` + +**修复前判定由两条轨迹的置信度大小关系决定，而不是由球在哪决定。** +断轨留下的幽灵轨迹衰减到 0.598，反超了新轨迹的 0.55，判定就抽中了留在原位的旧轨迹。 +`run_demo.py` 的默认场景恰好落在 0.88 那一侧，所以上周 demo 看起来是对的。 + +### 4.3 探针总体结果 + +| | 修复前 | 修复后 | +| --- | --- | --- | +| 假阳性 | 7 | **0** | +| 假阴性 | 2 | **0** | +| 契约风险 | 5 | 0（2 项转为待契约决策） | +| 已知能力边界 | — | 1（契约缺 y 轴） | +| 用例总数 | 14（13 个暴露问题） | 17（16 PASS / 0 FAIL / 1 KNOWN） | + +修复前 7 条假阳性里有 3 条能在**动作根本没发生**的情况下拿到 `success=True`： + +| 用例 | 场景 | 修复前 | 修复后 | +| --- | --- | --- | --- | +| C | 桶里本来就有另一个球，目标球一步没动 | `True` | `False`（`ambiguous_target` / 目标未移动） | +| D | 动作前后快照完全相同（空动作） | `True` | `False`（`no_state_change`） | +| E | 30 秒前的陈旧快照，调用方漏传 `now` | `True` | `False`（`clock_skew`） | +| F | 夹爪空抓，球在 3 米外地上还能看见 | `True` | `False`（`out_of_reach`） | +| G | 桶里一帧高分误检，`hit_count=1` | `True` | `False`（`unconfirmed_track`） | +| I | 目标 `conf=0.16`、`STALE` | `True` | `False`（`low_confidence`） | +| H | 球被举在桶正上方 30cm | `True` | `False`（夹爪闭合时 `still_grasped`） | + +假阴性两条：B（上文翻转实验）、F2（真抓稳但被夹爪自遮挡 1.2s 被误杀，现给 1.5s 宽限）。 + +### 4.4 端到端 demo 对照（t=9.0s，球被放进桶） + +| | 修复前 | 修复后 | +| --- | --- | --- | +| 轨迹 | `ball_001` 衰减到 0.344 STALE ＋ 新建 `ball_003` | `ball_001` 全程保持，conf 0.876 CONFIRMED | +| 融合位置 | 幽灵停在 (+0.17, +1.15) | (−0.56, +1.60)，确实在桶里 | +| 判定依据 | 只看 after，阈值 15.0cm | before 90.55cm → after 3.95cm，阈值 11.7cm（扣掉球半径） | +| 判定 | `success=True`（抽中新轨迹，抽中旧的就翻） | `success=True`（同一 obj_id，前后有变化，`reasons` 为空） | +| 契约时间戳 | `1970-01-01T00:00:09Z` | `2026-08-11T03:00:09Z` | + +**两次都是 `success=True`，但只有第二次是有依据的。** 这是本周最想说明的一点： +上周那个绿灯不是判定对了，是运气好。 + +### 4.5 回归测试 + +``` +tests/test_world_model.py 20 条 ← 16 信念维护的不变式（新增门控 / 平滑 / 时间戳 4 条） +tests/test_judge.py 29 条 ← 0 每条对应一个曾经的虚假判定 + ──── + 49 passed in 0.02s +``` + +上周验证过的关键不变式全部保持：遮挡不删除对象、视野内漏检快衰减、 +转身出视野慢衰减（3.5 秒仅 0.749 → 0.720）、重新看到后 id 不变。 + +### 4.6 改动量 + +12 个文件修改、3 个新增，+614 / −104 行。`judge/evidence.py` 为重写。 + +--- + +## 五、问题与判断 + +### 5.1 修不掉的一条：契约没有 y 轴 + +`scene_observations` 只有 `x` / `z`。「球被夹爪举在桶正上方 30cm」与「球掉进桶里」**俯视投影完全相同**， +而「举在上方」正是抓取放置失败最典型的终态。 + +做了两件能做的：夹爪仍闭合时判 `still_grasped` 拦下最常见的失败形态； +每条容器判定都带 `no_height_evidence`。探针里这条标为 `KNOWN` 而不是 `PASS` —— **没有假装解决**。 +真正解决要么加 y，要么加接触 / 支撑判定，属于契约层决策。 + +### 5.2 判定层能自保，对外契约还不行 + +判定层现在用 `obj_id` 锁定主语，但 `scene_observations` 没有 `id` / `state` 字段。 +真实场景同名多实例（多个球）时，下游拿到两条 `name: "ball"` 无法区分哪条是残留信念。 + +### 5.3 `confidence` 是启发式分数，不是概率 + +融合公式带下限保护（`max(conf*0.3 + det*0.7, det*0.9)`），所有基于它的阈值都是经验值。 +已全部收进 `EvidencePolicy` 可按 ctx 覆盖，真机标定后统一调；evidence 里以 `heuristic_confidence` 提示。 + +### 5.4 一个方法上的判断 + +上周把「固定门控会断轨」标成 P1，理由是「只影响 id 好不好看」。这个判断是错的 —— +**它会一路传导成判定结论翻转**。低层数据结构的缺陷在上层会变成语义错误， +优先级不能只按它在本层的严重程度定。 + +--- + +## 六、下周计划 + +1. 与判定服务外壳 owner 对齐四个契约问题（见第七节），确定 `target_id` / `gripper_pose` 能否并进 `JudgeRequest`； +2. 接数据源：`CameraDetectorProvider` 的地平面求交，等相机标定参数（曹志伟 SO101 双摄 / 蒋玉月 SG2002 帧）； +3. 数据源锁定后启动 RewardClassifier 主线训练，`evidence` 需回填分类概率、所用帧引用、检测框； +4. **在真实数据上重跑探针**，给出假阳率的量化数字 —— 这是当前所有结论最大的空缺； +5. 真机标定后重定 `EvidencePolicy` 里的阈值（`min_confidence` / `max_staleness_s` / `grasp_reach_m`）。 + +### 需要对方回话的四个问题 + +| 问谁 | 问题 | 卡住什么 | +| --- | --- | --- | +| 判定外壳 owner | `JudgeRequest` 能否加 `target_id` / `container_id` | 没有稳定 id，判定主语只能靠名字猜 | +| 判定外壳 owner | 能否加 `gripper_pose`（末端 x/z） | 没有它，「视觉确认」退化成「球还在世界上」 | +| 判定外壳 owner | `now` 的时钟源是墙钟 / ROS / 回放时间 | 三者混用时陈旧度护栏会被绕开 | +| 宋红 | `radius_cm` 是外接圆半径还是包围盒半宽 | 直接决定容器判定阈值 | + +--- + +## 七、证据位置 + +复现命令： + +```bash +python -m pytest tests/ -q # 49 passed +python run_demo.py # 端到端 +python tools/false_verdict_probe.py # 16 PASS / 0 FAIL / 1 KNOWN，非零退出码代表有虚假判定 +``` + +日志（修复前后同名成对，可直接 diff）： + +- `wm_kit/logs/2026-08-11_pytest_修复前.log` / `..._修复后.log` +- `wm_kit/logs/2026-08-11_run_demo_修复前.log` / `..._修复后.log` +- `wm_kit/logs/2026-08-11_false_verdict_probe_修复前.log` / `..._修复后.log` + +文档： + +- `wm_kit/2026-08-11_判定可靠性review.md` —— 复核报告，逐条列出虚假判定与根因 +- `wm_kit/2026-08-11_代码工作总结.md` —— 修复清单与前后对照 +- `wm_kit/DESIGN.md` 第十节 —— 缺陷与修复表、仍未解决项 + +--- + +## 总结 + +本周没有新增功能，做的是一件更基础的事：**验证上周那套判定到底判得准不准。** + +结论是不准。16 条单测全绿、demo 打印 `success = True`，但单测一条都没测 `judge/`， +而判定内核实际回答的是「场景里有没有一个叫 ball 的东西离 basket 足够近」， +不是「这件事成没成」。对抗探针跑出 7 条假阳性、2 条假阴性，其中 3 条能在动作根本没发生时报成功。 + +根因是**判定层丢掉了 World Model 维护的物体身份**：按名字取置信度最高者， +于是干扰物、断轨残留、单帧误检都能当判定主语，判定结论跟着置信度竞赛走而不是跟着物理走。 +修复围绕四条主线展开：id 锁定主语、判据改成状态变化、护栏改成统一前置条件并输出原因码、时钟如实暴露。 +上周自标 P1 的固定门控问题优先级提到 P0 先修 —— 它是判定翻转的上游根因。 + +修完假阳性和假阴性都归零，单测从 16 补到 49（`judge/` 从零覆盖到 29 条）， +每条虚假判定都固化成回归单测。契约缺 y 轴那条修不掉，明确标成能力边界而不是混进通过项。 + +一个方法上的收获：**低层数据结构的缺陷在上层会变成语义错误**， +「轨迹 id 不好看」和「判定结论翻转」是同一个 bug 的两个截面，优先级不能只按它在本层的严重程度定。 + +当前所有结论都基于 mock 数据，构造的场景形态是真实的，但假阳率的量化需要真实数据集 —— 这是下一步最该补的空缺。 diff --git "a/docs/src/yangzheng/\345\221\250\346\212\245/\347\254\2545\345\221\250-2026-08-08~2026-08-14.md" "b/docs/src/yangzheng/\345\221\250\346\212\245/\347\254\2545\345\221\250-2026-08-08~2026-08-14.md" new file mode 100644 index 0000000..1f7cdc3 --- /dev/null +++ "b/docs/src/yangzheng/\345\221\250\346\212\245/\347\254\2545\345\221\250-2026-08-08~2026-08-14.md" @@ -0,0 +1,341 @@ +# SimCar 实机接入专项（2026-08-08 ~ 2026-08-14） + +旧文件名中的“第5周”仅为兼容已有链接保留；本报告与 World Model 专项覆盖 +同一日期区间，不再用个人工作线周号表达时间顺序。 + +杨铮 · 任务编排层 / SimCar 实机接入 + +**本周目标**：把上周那套全 mock 的任务编排层接到线上 SimCar 真机上跑通， +并把"一步到底算不算成功"这件事立起来。 + +**验收**：线上真机完整跑通五步任务（走到球 → 抓起 → 走到桶 → 放下 → 原路返回）， +每一步的成败都有可回溯的证据，不采信任何自报结果。 +**已达成**，并在周末补上了大模型这一段——最终形态是 +**一句中文指令 → 模型拆解 → 真车执行，全程无人手写计划**（§3.6）。 + +**产出**：`sim/`（实机层，1698 行）、`tools/`（五把尺子，966 行）、 +`run_sim.py`、`docs/stage2-sim-spec.md`、三份报告与全部原始证据。 + +--- + +## 一、问题定义 + +上周交付的是一个能跑通闭环的任务编排框架，但它的每一层都是假的： +`skills/*/main` 是无条件返回 `True` 的假技能，`judge.py` 原样采信这个返回值。 +**也就是说，那套系统统计出来的"执行成功率"恒等于 100%，没有任何信息量。** + +要往真机上接，本周必须先回答三个问题。 + +### 问题 1：接口说"成功"，能信吗？ + +线上 SimCar 的控制接口是一个**纯广播口**，不做任何校验： + +``` +GET /api/control?clientId=car-xxx&action=nonsense_xyz +→ {"success": true, "command": {"action": "nonsense_xyz"}, "target": "car-xxx"} +``` + +没有浏览器开着仿真器页面时，指令广播到一个空房间，车一动不动， +而 `/api/car/state` 返回的是上一个浏览器留下的**缓存帧**。 + +这种状态下写一个"发命令 → 收到 success:true → 记成功"的执行器， +它会全程打绿，而车从头到尾没动过。**`success:true` 不是执行成功的证据。** + +### 问题 2：什么才算"这一步做到了"？ + +抓取有动画（`picking_down → picking_up → holding`），发完 `grab` 不等于抓到了； +放下之后球可能掉在桶外面——手确实松开了，但任务没完成； +"原路返回"回到了起点坐标，却歪着 8° 朝向，也不能算回去了。 + +每一种情况都能找到一个"看起来成功"的信号。判据选错，日志就会全绿而任务没完成。 + +### 问题 3：上周的评测分数可信吗？ + +复盘时发现两处会把"错的"算成"对的"： + +1. 模型吐一句废话、吐半个 JSON、真的输出空计划 `[]`——旧代码在这三种情况下 + **都返回 `[]`**，而"这条指令做不到"的判据正是 `plan == []`。 + **没答出来被算成了答对。** +2. 判定只比技能名序列，不比参数。一份 + `move_to("它") / pick("它") / move_to("下") / place("下")` 的垃圾计划， + 序列对得上、参数非空也能过校验，旧口径判"全对"。 + +分数是虚高的，得先修口径，再谈能力。 + +--- + +## 二、解决思路 + +### 2.1 唯一硬件入口 + 两个可换的 transport + +上层只认一个 `bk` 对象，底下是真机还是替身它不知道： + +``` +bk = make_bot("live", client_id=...) → HttpTransport 打真 SimCar +bk = make_bot("fake") → FakeTransport 本地替身 +``` + +替身的语义不是编的，是照着线上前端 bundle 逆出来的（`U0()` 命令分发、 +`Th()` 抓取判定、`Qo()/P0()` 机械臂状态机、`R0()` 上报）， +连"球被抓进夹爪后 `ballPosition` 上报的是局部坐标 `(0,0)`"这个坑都复现了。 +替身走虚拟时钟，整套 demo 跑完不到一秒且完全可复现——离线开发不必占用真机。 + +### 2.2 闭环原语：测量 → 下发 → 停稳 → 再测量 + +针对问题 1。所有运动原语都不许"发完就算数"，统一是这个套路， +迭代到上限就如实报失败： + +- `wait_moving` 先确认车真的动起来了，再等它停—— + 否则"还没开始"和"已经停了"在状态里长得一模一样，会把新命令叠在旧命令上； +- `wait_still` 按**位姿不再变化**判停，不写死超时—— + 仿真器跑在浏览器里，页面切后台掉帧后整个仿真慢十倍， + 写死 30s 会在车正常走的时候强行 stop，还报一个跟真实原因无关的"没停稳"。 + +### 2.3 判定三原则 + +针对问题 2。 + +| 原则 | 落地 | +|---|---| +| 一切判定回读 state | 不采信 `success:true`，也不采信技能自报 | +| 用上帝视角真值核，不用带噪估计 | `place` 拿球的真实世界坐标算落点距桶心多少，`≤3.3cm` 才算进 | +| 多指标必须**同时**达标 | `return_home` 要位置和朝向双双进容差；`grab` 要 `hasBall` 和 `armState=="holding"` 同时成立 | + +拿带噪的观测去判自己有没有成功，等于让考生自己批卷子，误差还会被算两遍。 + +### 2.4 反向考卷：专考"错的会不会被判成对" + +针对问题 3。成功路径全绿只能说明"对的判成了对"，说明不了"错的会被判成错"。 +`tools/fault_check.py` 把每一层的失败分支单独考一遍，23 项，不依赖任何 API。 + +同时改判定口径：解析失败返回 `None` 而不是 `[]`，与"明确拒绝"彻底分开； +新增目标绑定维度（等价类查表，不做子串匹配，避免"垃圾"和"垃圾桶"互相顶替）； +每条用例存模型原文以便事后审计；调用失败不再吃掉分母。 + +### 2.5 真机考卷：三档 + 活体门禁 + +把真机测试做成一条可重跑的命令，clientId 自己填： + +```bash +python3 tools/live_check.py --client-id car-xxxxxxxxx --level task +``` + +三档：`probe` 只读（发 0 条命令）/ `motion` 加标定 / `task` 加完整任务。 + +**第一件事是活体门禁**：只读探测原理上无法区分"活着但没动"和"一帧死掉的缓存"， +所以运动档一律先发一条 5° 转向、确认位姿真的变了才往下走。 +门禁不过就退出码 2（测不了），而不是把后面的检查判成失败—— +"测不了"和"测出来是错的"是两回事。 + +--- + +## 三、运行结果 + +### 3.1 离线测试（不需要 API key，不需要浏览器） + +| 命令 | 结果 | +|---|---| +| `tools/fault_check.py` | **失败路径考卷 23/23** | +| `tools/llm_offline_check.py` | 8/8 用例符合预期，抽一条合法计划实跑 5/5 步 | +| `tools/calib.py` | 7 条命令全部自停，转向误差 ≤1.71%、直行 ≤1.77% | +| `tools/perception_demo.py` | 两档衰减相差 51 倍；平滑把平均误差 4.00→2.57cm（-36%） | +| `run_sim.py --demo` | 5/5 步，落点 1.3cm，回起点 0.9cm / +2.4° | +| `benchmarks/run_bench.py --planner mock` | raw 16/20，final 16/20，绑定 11/12，校验层 5/5 | + +在系统 Python 3.9.6 和 uv 托管的 3.12.13 上各跑一遍，**每个数字逐位相同**—— +固定种子 + 虚拟时钟做到了跨解释器可复现，分数因此可以横向比。 + +### 3.2 真机五步任务：全部成功 + +clientId `car-zezwf1183`，`--level task`，**16 通过 / 0 失败 / 3 未判定，退出码 0**： + +``` +[第 1/5 步] move_to(球) ✓ 已到位，距目标 17.8cm（目标 16.7cm） +[第 2/5 步] pick(球) ✓ 抓到了，6.1s 到 holding +[第 3/5 步] move_to(桶) ✓ 已到位，距目标 16.66cm（目标 16.67cm） +[第 4/5 步] place(桶) ✓ 放下了；落点距桶中心 1.1cm，进了 +[第 5/5 步] return_home() ✓ 回到起点 0.0cm 内，朝向残差 +0.0° + +✓ G1 五步全部成功 5/5 步 +✓ G2 球真的进桶了（上帝视角核落点） 落点距桶心 1.1cm（桶半径 3.3cm） +✓ G3 回到起点且朝向达标 距起点 0.0cm 朝向残差 0.0° +``` + +G3 那个满分核对过：`home` 记的是 `(4.485, -0.392, -0.694rad)`， +最终位姿 `(4.485, -0.393, -39.7°)`，两位小数完全重合， +而且轨迹上闭环真的跑满了（两次限幅转向 + 64.6cm 直行 + 两次朝向修正）， +不是走捷径兜出来的。 + +### 3.3 运动标定 + +``` +✓ D1 right angle=90 实际 90.0° 误差 0.0% 耗时 4.9s +✓ D3 up distance=50 实际 50.0cm 误差 0.0% 耗时 46.1s +✓ B2 位移对得上命令 命令 +5°，实际 +5.0° +✓ F1 感知真机基线 检出率 0.833 raw 4.77cm → est 2.65cm +? D4 标签页在不在前台 速率 1.1cm/s → 多半在后台掉帧 +``` + +**距离和角度命令本身是 0.0% 误差的**——闭环要补的是方位，不是距离。 +掉帧只让它慢、不让它偏。 + +### 3.4 七个真机坑的复核 + +| # | 坑 | 本周实测 | +|---|---|---| +| 1 | `POST /api/car/reset` 不生效 | **确认复现** | +| 2 | reset 后车贴着桶 | 未复现，场景是干净的 | +| 3 | 切后台掉帧慢十倍 | **确认复现**，速率 1.1cm/s，与文档记录完全一致 | +| 4 | 恰好 180° 转向方向抛硬币 | 限幅生效，本轮触发 3 次全部拆两刀 | +| 5 | 长轮询偶发 SSL 超时 | **确认复现**，state 单次耗时 24.6s/19.7s/4.0s，靠重试兜住 | +| 6 | 站在目标点上算方位角会横跳 | 改序后未复现 | +| 7 | "还没开始"与"已经停了"同形 | **确认复现**，命令 +5° 车转了 -80° | + +**新发现**：刷新页面也不会重置世界。加上第 1 条，目前没有任何 API 途径 +能复位场景，只能在页面上手动操作——自动化重复实验暂时做不到。 + +### 3.5 判定口径改造前后 + +以 20 条基准里的 c16 为例： + +``` +计划：move_to("它") / pick("它") / move_to("下") / place("下") +旧口径：raw=OK final=OK ← 序列对得上就算对 +新口径：raw=OK final=OK [绑定错] ← 序列对，但目标绑错了，单列一维抓出来 +``` + +`fault_check.py` 里第一、二考区专门守这两条，本周全过： +"模型吐废话 → 判错"、"绑成杯子 → 绑定判错"、"垃圾桶顶替垃圾 → 判错"。 + +### 3.6 接真大模型：三个层次都验过了 + +08-14 配上 DeepSeek（`deepseek-v4-pro`，`https://api.deepseek.com`）后重跑。 +**代码一行没改**——它走的就是标准 OpenAI 兼容 `/chat/completions`。 + +**离线 · 20 条基准第一次有真分数** + +``` +planner = llm (deepseek-v4-pro) +raw 20/20 final 20/20 绑定 16/16 +解析失败 0 条 error 0 条 触发计划级修复：0 条 +校验层（validate_plan 单测）：5/5 +``` + +其中两条特别值得看： + +- c16「先移动到球旁边，再把它捡起来，然后拿到桌子那儿放下」， + mock planner 拆出来是 `move_to("它")/pick("它")/move_to("下")/place("下")`， + 绑定判错；模型绑对了。 +- c11~c14 四条做不到的（叠衣服、讲笑话、打扫房间、开灯）全部输出空计划， + 且 `parse_failed=0`——是**真的拒绝**，不是吐了废话被当成拒绝。 + 这正是旧口径分不出来的那件事。 + +**但这个满分要打折扣看**：20/20 说明这套基准对这个模型已经**饱和**， +它现在区分不出任何东西。要继续拿它衡量能力，得先加难度 +（歧义指代、顺序陷阱、超出技能范围但长得像能做的指令）， +而不是拿它去证明"拆解能力已经够用"。 + +**真机 · 模型出的计划直接驱动真车** + +```bash +python3 run_sim.py --goal "走到球那里，抓起来，然后走到桶那里放下，最后原路返回" \ + --mode live --client-id car-fy7d8pzsj +``` + +模型一次出对、零修复轮、`validate_plan` 直接过，五步全成： + +| 步 | 结果 | 值得看的 | +|---|---|---| +| 1 move_to 球 | ✓ 16.6cm | 一轮收敛，**一次 `face_to` 都没调**（车头本来就朝球） | +| 2 pick 球 | ✓ 3.2s | 页面在前台，掉帧时是 6.1s | +| 3 move_to 桶 | ✓ 17.2cm | **偏 -180.0°** 限幅拆两刀；蹭到障碍物但判"还在走"，没误报撞车 | +| 4 place 桶 | ✓ **1.7cm** | **`escape_collision` 首次在真机执行** | +| 5 return_home | ✓ **0.0cm / +0.0°** | 又一次 -180.0° 限幅 + 脱离碰撞 | + +跑完另外独立读了一次 state 复核，不只看程序自己的日志： +球 `(0.000, 4.851)` 距桶心 **1.65cm**，车 `(0.000, -0.000)` 距起点 **0.00cm**、朝向 -180.0°。 + +**这一轮把三个真机坑同时验了**：spec 第 2 条（起步贴着桶， +`escape_collision` 之前从没在真机触发过，这次 `place` 和 `return_home` 各触发一次）、 +第 4 条（恰好 180° 方向抛硬币，触发两次全是精确的 `-180.0°`）、 +以及碰撞判据（`isColliding=True` 但本轮挪了 77.3cm，按"蹭到但还在走"处理—— +单看 `isColliding` 的写法会在这里误报失败）。 + +**至此"一句中文 → 真车动作"全程无人手写计划的闭环打通。** + +--- + +## 四、总结 + +### 4.1 做到了什么 + +三个问题都有了答案，并且都落成了代码而不是结论： + +1. **接口说"成功"不能信** → 所有判定回读 state，真机上复核仍然成立； +2. **"做到了"必须有真值证据** → `place` 核落点、`return_home` 双指标、 + `grab` 等状态机走完，真机五步任务因此是可信的； +3. **旧分数虚高** → 口径已重写，旧报告标注作废，并补了 23 项反向考卷； + 08-14 配上真模型后用新口径重跑，20 条基准第一次有了可引用的分数。 + +真机完整任务跑通两轮，**达到并超出本周验收标准**： + +| 轮次 | 计划来源 | 球进桶 | 原路返回 | +|---|---|---|---| +| 08-12 | 手写 `DEMO_PLAN` | 1.1cm | 0.0cm / 0.0° | +| 08-14 | **DeepSeek 拆解** | 1.7cm | 0.0cm / 0.0° | + +第二轮的意义不在精度，而在**计划不再是人写的**—— +"一句中文 → 真车动作"这条链路上，最后一段人工环节也去掉了。 + +### 4.2 自查发现的问题（老实记账） + +对自己的代码做了一轮审查，**没有发现把失败粉饰成成功的虚假判定**， +但找到 3 处判定偏宽，其中 1 处可复现且**尚未修**： +`place` 的目标不在已知物体表里时会跳过落点核验直接判成功。 + +**更该记的是：我给真机写的那份考卷，自己犯了同一类错。** +第一版把"车走了 50cm 没有"的判据写成了"函数返回了没有"——车一厘米没动， +考卷打了绿；后来又反过来把"没有观测机会"判成了"感知失败"。两个都改掉了。 + +教训：**判据必须落到实测量上。"函数返回了"和"这件事发生了"是两回事。** +这条纪律不是喊出来的，是这周踩出来的。 + +### 4.3 卡住 / 需要支持 + +1. ~~没有 LLM API key~~ —— **08-14 已解决**（DeepSeek），见 §3.6。 + 新的问题是**基准饱和**：20/20 之后这套用例已经量不出能力差异，需要加难度。 +2. **仿真器场景无法通过 API 复位**，重复实验要人工介入。 +3. **需要带教拍板**：最终 demo 走 Octos 还是 agent_vla。 + 现在 planner / executor / judge / registry 都与框架无关，两条路都能接， + 越晚定返工面越大。 +4. **需要和队友对齐**：`contracts/skills.md` 待发给曹志伟（VLA）和蒋丰泽（底盘）。 + +### 4.4 下周计划 + +1. 修掉 4.2 那两处未修的判定偏宽，补进 `fault_check.py` 当新考区； +2. ~~配好 key 重跑 20 条基准~~ —— 已完成。剩 `bench-llm-repeat3.json` + 仍是旧口径，要单独重跑三轮；并给基准加难度用例（见 4.3 第 1 条）； +3. 标签页放前台重跑标定，用真机数据校准替身的两个动力学系数； +4. 扩技能表（见 4.5）； +5. 把拆错的案例单独存一份——这是后面唯一能证明系统好用的东西。 + +### 4.5 一个已知的能力边界 + +原本设想的"跑到尽头，右拐，再跑到尽头，然后原路返回"这类模糊指令， +**当前跑不了**，四个缺口：技能表里没有"一直走到走不动"和"相对转 90°"； +提示词会让模型对这类指令直接判"做不到"，而基准会把它算成"正确拒绝"给分 +（**这个能力从来没上过考卷**）；场景里没有墙，"尽头"这个判据无法定义； +`return_home` 实际是"直线回起点"而非"原路返回"，有墙的走廊里就是撞墙。 + +顺序建议：**先修判定、再加边界、最后加技能**——反过来做，中间那阵子的绿灯都不能信。 + +--- + +## 附：详细报告与证据 + +- [`week5-review-report.md`](../week5-review-report.md) —— 代码审查 + 离线测试 12 项 +- [`week5-live-test-report.md`](../week5-live-test-report.md) —— 真机考卷设计 + 9 轮实跑 +- `robot-octos-demo/reports/README.md` —— 各份基准报告的可信度说明（留在代码仓库） +- [`evidence/live-car-zezwf1183-task.json`](../evidence/live-car-zezwf1183-task.json) —— 真机五步任务的原始结果（手写计划） +- [`evidence/live-car-fy7d8pzsj-llm-task-console.txt`](../evidence/live-car-fy7d8pzsj-llm-task-console.txt) —— **模型出计划驱动真车**的全程日志 +- [`evidence/bench-llm-deepseek-v4-pro.json`](../evidence/bench-llm-deepseek-v4-pro.json) —— 20 条基准的真模型结果，每条存有模型原文