[Benchmark] OpenPI 0.3.0 / Pi / OMP：GLM-5.3 与 GPT-5.6 Luna 54-cell ARM64 派生诊断

[tt-a1i]

摘要

本 Issue 记录 OpenPI 0.3.0、Bare Pi 与 OMP 在两个模型上的同条件对照证据：

• 模型：seal/glm-5.3、seal/gpt-5.6-luna
• Harness：Bare Pi、Pi + OpenPI、OMP
• 任务：3 个多轮 Terminal 任务
• 重复：每题 3 次
• 总计：2 models × 3 tasks × 3 repeats × 3 harnesses = 54 cells

主要观察：

• GLM-5.3：三条 Harness 都通过 7/9；OpenPI 使用 331,851 tokens，OMP 使用 2,176,017 tokens，OpenPI 少 84.7%。
• GPT-5.6 Luna：Bare Pi 与 OpenPI 都通过 7/9，OMP 通过 4/9；OpenPI 比 OMP 少 58.2% 的物理模型请求，总耗时低 36.2%。
• Git 与 SQLite 两类任务中，Bare Pi 和 OpenPI 在两个模型上均为 12/12。

这组结果没有证明 OpenPI 相对 Bare Pi 存在通用质量提升。它支持的更窄结论是：在本次普通 Terminal 任务里，OpenPI 保持了 Pi 的成功数；相对 OMP，本轮观察到了更低的模型调用开销。

结果边界

这是在 Linux ARM64 VM 上运行的 Terminal-Bench 2.1 源构建派生诊断，不是 Terminal-Bench 官方成绩或排行榜提交。

任务数只有 3，每个 cell 重复 3 次。cancel-async-tasks 对 SIGINT/process-group 行为较敏感，方差明显，因此不能把小幅胜负外推成 Harness 的稳定总体能力。

GPT-5.6 Luna 路线没有返回可用 token usage；该模型只比较 verifier、物理请求数与 wall time，不作 token 或成本结论。

冻结条件

项目	值
Pi	@earendil-works/pi-coding-agent 0.84.2
OpenPI	@tt-a1i/openpi 0.3.0
OMP	@oh-my-pi/pi-coding-agent 17.2.12
Bun	1.3.14
Harbor	0.20.0
Container runtime	Podman server 6.0.2，Linux ARM64 VM
Task source	Terminal-Bench 2.1 ARM64 source-build-derived，commit d1f1920f2d817a831f466d0ff363ef795a9a3b00
Tasks	git-leak-recovery, sqlite-db-truncate, cancel-async-tasks
Repeats	每个模型、任务、Harness 3 次
Schedule	strict serial Latin-square
Cell deadline	1,800 秒
Schedule SHA-256	974fdc67aad36c4c890a83d6705e7a687610a0ecbef00a0c0ca4e7efac369a62
Credential boundary	host forwarding proxy + 每格短命 bearer；candidate 不持有真实 provider key

模型参数：

模型	Thinking
seal/glm-5.3	high
seal/gpt-5.6-luna	high

GLM-5.3

结果格式为 pass / fail / indeterminate。Wall 为 9 个 cell 的总耗时；indeterminate 的等待时间不隐藏。

Harness	结果	Wall	Provider tokens	Physical POST
Bare Pi	7 / 1 / 1	2,647.724s	249,625	94
OpenPI	7 / 2 / 0	1,107.098s	331,851	87
OMP	7 / 2 / 0	1,081.746s	2,176,017	106

逐任务：

Task	Bare Pi	OpenPI	OMP
Git leak recovery	3 / 0 / 0	3 / 0 / 0	3 / 0 / 0
SQLite truncate	3 / 0 / 0	3 / 0 / 0	3 / 0 / 0
Cancel async tasks	1 / 1 / 1	1 / 2 / 0	1 / 2 / 0

效率观察：

• OpenPI 与 OMP 都是 7 pass；OpenPI tokens 为 OMP 的 15.3%，少 84.7%。
• OMP tokens 为 OpenPI 的 6.56 倍。
• OpenPI 相对 Bare Pi 多使用 32.9% tokens；本轮不能声称 OpenPI 比原生 Pi 更省 token。
• Bare Pi 的 cancel 总时长包含一个约 30 分钟的 indeterminate，因此不能用 GLM 总 wall 宣称 OpenPI 相对 Pi 有稳定提速。

GPT-5.6 Luna

Harness	结果	Wall	Physical POST	Logical attempts	额外物理 POST
Bare Pi	7 / 2 / 0	1,129.885s	43	43	0
OpenPI	7 / 2 / 0	1,151.213s	46	46	0
OMP	4 / 5 / 0	1,803.368s	110	92	18

逐任务：

Task	Bare Pi	OpenPI	OMP
Git leak recovery	3 / 0 / 0	3 / 0 / 0	3 / 0 / 0
SQLite truncate	3 / 0 / 0	3 / 0 / 0	1 / 2 / 0
Cancel async tasks	1 / 2 / 0	1 / 2 / 0	0 / 3 / 0

效率观察：

• OpenPI 与 Bare Pi 都是 7/9；OpenPI wall 比 Bare Pi 高 1.9%，没有提速证据。
• OpenPI 相对 OMP 多 3 pass，物理模型请求少 58.2%，总 wall 低 36.2%。
• OMP 的 110 个物理 POST 对应 92 个已完成 logical attempts；18 个额外请求按 provider 重试保留，没有从开销中隐藏。
• Seal 未返回可用 usage，因此不能根据该轮声称 OpenPI 节省 Luna token 或成本。

完整性与安全收据

两组运行均满足：

• 27/27 Pi/OpenPI/OMP cells 落盘且身份唯一；
• 最终冻结源校验通过；
• retained artifact credential scan 通过：0 missing roots、0 credential leak、0 scan failure；
• 真实 provider key 未注入 candidate；
• 全局并发为 1，所有 cell 按冻结 Latin-square 严格串行执行。

运行身份：

模型	Lock fingerprint	Receipt
GLM-5.3	sha256:037179456f3223457e428b9d5543911144b045bcea7ee7127728b27dd735780e	completed_with_indeterminate
GPT-5.6 Luna	sha256:00b9db64606832521df7f853d63d5e50d1e6754920e0ac51e1b32c2aacc4866c	completed_with_indeterminate

证据 controller 的 POST/attempt reconciliation 另外覆盖了 provider 物理重试：physical POST < logical attempts 时 fail closed；非负差值记录为 unattributedProviderPostRequests。

验证：

• controller 定向 Node tests：23 pass，1 个环境用例 skip；
• 项目全量 Node tests：719/719；
• Vitest：29/29；
• bun run check：format、lint、typecheck 通过；typecheck 仅有既存 Effect advisory warnings。

当前可支持的结论

1. 在这两个完整模型批次中，OpenPI 与 Bare Pi 都取得 7/9；Git 与 SQLite 合计均为 12/12。
2. 在本轮两个完整模型批次中，OpenPI 保持了与原生 Pi 相同的通过数；不同任务的耗时方向不一致，因此暂不对相对 Pi 的速度优势作结论。
3. 相对 OMP，OpenPI 在 GLM-5.3 上以相同 pass 数使用少 84.7% tokens；在 Luna 上取得更多 pass，并使用少 58.2% 的物理请求和少 36.2% 的 wall time。
4. 这些数据支持继续保持 Pi-native、普通回合 zero-resident、按需披露能力的方向；尚不足以证明 Subagent/Workflow 的收益，因为这三道题没有专门要求编排能力。
5. 下一轮应扩大任务集，并预注册会自然触发 Subagent/Workflow 的多文件任务，将能力采用率、质量与成本分开报告。

[627150795]

我来认领这个 Issue。计划把 Issue 中已有的 54-cell ARM64 source-build-derived 诊断结果整理为仓库内可追溯的 benchmark report：保留冻结条件、任务/模型/Harness、结果表、hash、credential boundary、限制和“不是官方 Terminal-Bench 成绩”的声明；不重新跑实验、不夸大结论。完成后会用中文 PR 提交，并先做文档链接、格式和证据一致性检查。

[627150795]

进展更新：已完成报告整理并提交中文 PR #271（https://github.com/tt-a1i/openpi/pull/271）。PR 只新增 docs/research/OPENPI_PI_OMP_54_CELL_DIAGNOSTIC.md，基于本 Issue 已公开的 54-cell 收据，保留冻结条件、hash、安全边界和限制；没有修改运行时代码，也没有把结果写成官方 Terminal-Bench 成绩。