Skip to content

M16 slice 1: 跑批前测量补齐+openswarm 臂接入 #205

Closed

Description

@surlymochan

M16 切片 1:跑批前测量补齐+openswarm 臂接入

父单:M16 总单(#5 结清)。本片只做跑批前的测量与接线,不跑全矩阵。

要做

  1. 基建与凭据核查:bench-env(~/workspace/github-maturity/bench-env/)harness 可用性、VM 侧 pi 的 MiniMax 凭据是否仍有效(最小冒烟即可,不打印凭据);缺位只记账报缺什么。
  2. $/task 成本字段:runs 落盘须带每格成本字段(按 token 用量×MiniMax 价目折算,价目来源留指针),补 P1-2 的 $/task 腿——上轮总账该腿「无成本字段未测」。
  3. 墙钟截尾口径:上轮 1200s 单格上限把全臂中位截在 ≈1203s、墙钟腿无法判定。本片定口径并落地:提高单格上限,或截尾格单独计数+以未截尾格计中位——二选一,理由写进本单;口径一经定下全矩阵沿用,不中途换。
  4. openswarm 臂接入 MiniMax:补 P2-3 缺口——openswarm 臂此前从未在 MiniMax 上跑(第一轮额度中断后未续)。接线后先导冒烟:6 题 × 4 臂 × reps 1 跑通、四臂产物形状一致(patch、tokens、墙钟、成本字段齐全)。

验收

  • 先导 24 格全部落盘且字段齐全(已解判定、墙钟、tokens 含 cache、$/task);
  • 成本字段与墙钟口径的定义落本单评论,可复核;
  • 冒烟中撞额度/429 记断点、不硬顶。

Activity

  1. surlymochan commented on Nov 15, 2026

    @surlymochan
    OwnerAuthor

    父单:M16 总单 #204。

  2. added a commit that references this issue on Nov 15, 2026
  3. surlymochan commented on Nov 15, 2026

    @surlymochan
    OwnerAuthor

    M16 切片 1 进度(2026-11-15 15:08 轮施工)

    1. 基建与凭据:通过

    • 白名单代理 127.0.0.1:9933 在监听(PID 51877);pi 冒烟 smoke-healthcheck-m16s1:success=1、model minimax-cn/MiniMax-M3.1-Flash-Preview、effort high、wall 6.7s、1 turn、0 tool calls、结果 SMOKE-OK。MiniMax 凭据有效,无缺位。
    • 预检:data/ 与 repos/ 权限 000→755、tmp/.lock-count 1→0(无存活跑批进程核实后清理)。

    2. $/task 成本字段:已落地(PR #206,已合并 8df503f)

    • 定义:每格落盘新增 cost_usd + cost_price_row,公式 = (input×in + output×out + cache_read×cache_read + cache_write×cache_write) / 1e6,token 用量取该格实录。
    • 价目基准:新行 minimax-m31-flash——input $0.15 / output $0.60 / cache_read $0.015 per 1M tokens,来源 https://platform.minimax.io/docs/pricing/overview(2026-11-15 实读)。定价页现直接列出 MiniMax-M3.1-Flash,取代旧 M3 Standard($0.30/$1.20/$0.06)代用口径;旧行保留以便复现 pilot2 中位价。Preview 本身无 PAYG 价、走 M Plan / MiniMax Code,故本字段为 computed、not billed(实际走 Token Plan)。
    • report.py:该行优先用落盘值、旧行无字段时回退重算(同一公式);默认 --price 改为 minimax-m31-flash。
    • 实测复核(旧 135 格重算):M3.1-Flash 中位 $/task baseline $0.0589 / superpowers $0.0685 / openflow $0.0881(M3 行 $0.1555/$0.1922/$0.2731)。比值对价目基准敏感(cache 占比不同),M16 全矩阵冻结此基准、不中途换。
    • 验证:新 test_cost_field.py 5/5、test_planner_prompt.py 7/7、test_diff_filter.py 7/7;CI verify 4m12s + ledger 均 pass。

    3. 墙钟截尾口径:选 B——保持 1200s 上限,截尾格单独计数+以未截尾格计中位

    理由(135 格实测):

    • 126/135 格被截尾;62/64 个已解格也是截尾后才落盘——agent 在修好后仍继续自我怀疑("The issue is fixed. Now, let me think about whether the hidden test might expect something more…")直至被杀;真正自停仅 7/135 格(另 2 格为 429 快败 163s)。
    • 未截尾中位每臂仅 n=4/4/1(baseline 1021s / superpowers 436s / openflow 1147s),做不了 ≤1.3× 比值判定。
    • 提上限到 2400s 无证据表明中位可算(需 >50% 自停,实测 1200s 内仅 5%),却要约 2 倍 token 与约 2 倍墙钟(180 格约 8–10 天),比值仍可能截在 ~1.00——贵且不解决问题;保持 1200s 还保住与已完成 135 格矩阵的直接可比性。
    • 落地:report.py 新增每臂未截尾格中位+n(summary.json wall_s_uncensored_*、tables.md 新行);中位比值检验仅在两臂截尾率均 <50% 时可算,否则墙钟腿记「无法判定」、附截尾率与未截尾中位作证据,切片 3 再给下一刀。判定线本身不变。

    4. openswarm 臂接入:接线已在 main,先导即首次验证

    • 收紧版 PLANNER 提示词(fix(bench): tighten openswarm planner prompt to read-only planning #42,禁跑命令/禁复现/禁探索、只写 task file + verify 命令)与 600s planner 超时已在 main;但 600s 验证格(pylint-8898,13 turns/23 tools 探索后 rc 143)跑的是旧版提示词,新提示词从未经真实格验证——本次先导即为其首次验证,本片不预改提示词,验证失败再迭代。
    • 先导 24 格(6 题原 6 题口径 × 4 臂 × reps 1)已启动:supervise PID 68400、run.py PID 68407、代理 PID 51877、9933 监听;日志 supervise-m16s1-pilot.log 首行 [2026-11-15T08:01:20] pass 1: done=0/24,run.py 印出 24 cells;jobs 2、BENCH_PI_ISOLATE=1;独立 out 文件 results/runs-m16s1-pilot.jsonl(未写入全矩阵 runs 文件)与 raw results/raw-m16s1-pilot。首批两格已派:baseline sympy-14248 r1、sympy-17630 r1(task-id 前缀 gity-swe-m16s1-pilot-)。openswarm 6 格在臂顺序末尾,其 planner 收敛 verdict 待其落盘。
    • bench-env 四文件(run.py/report.py/prices.json/test_cost_field.py)sha256 与合并后 main(8df503f)逐一核对一致,本地同步已留痕(见 bench-env STATUS.md)。

    未核实项

    • 先导 24 格尚未落盘任何一格(首批两格进行中,每格最长 1200s);成本字段待首格落盘后验真;openswarm planner 是否收敛待 openswarm 格落盘后 verdict;撞额度/429(新格 wall<100s 空 diff)按既定口径记断点停跑,本轮未见。
  4. surlymochan commented on Nov 15, 2026

    @surlymochan
    OwnerAuthor

    主轮第二方复核(2026-11-15 15:08 轮)

    1. 基建与凭据:通过(直验)——白名单代理 127.0.0.1:9933 在监听(PID 51877);supervise PID 68400、run.py PID 68407 均存活;先导首格 baseline sympy-14248 r1 的 pi 事件流正在出 token、无 429 信号,凭据有效。冒烟结果(success=1、6.7s)以施工员回传为准,未重跑。

    2. PR #206 已合(直验)——merge commit 8df503f 即 main HEAD,合并后 main CI run 43692503460 success。diff 四文件逐项读过:prices.json 新增 minimax-m31-flash 行(input $0.15 / output $0.60 / cache_read $0.015,source 定价页);run.py 每格落盘 cost_usd + cost_price_row;report.py 默认 --price 改此行、优先落盘值、新增未截尾中位+n;新测试 test_cost_field.py 本机独立重跑 5/5。

    3. 旧 135 格独立重算(全量直读 runs-minimax-full.jsonl)——截尾 126/135、已解且截尾 62/64、真自停 7 格(另 2 格为 429 快败、墙钟 163s)、未截尾 n=4/4/1、中位墙钟 1021/436/1147s;成本中位 baseline $0.0589 / superpowers $0.0685 / openflow $0.0881——与回传逐数一致。墙钟口径 B(保持 1200s 上限、截尾格单独计数+以未截尾格计中位、比值检验仅两臂截尾率均 <50% 时可算)采纳;判定线本身未改。

    4. bench 四文件 sha256 与合并后 main(8df503f)逐一一致。

    5. 先导 24 格运行中——日志首行 [2026-11-15T08:01:20] pass 1: done=0/24;results/runs-m16s1-pilot.jsonl 尚未创建(0 格落盘,首批两格进行中,每格最长 1200s,符合预期)。

    非阻塞注记:prices.json 新行 note 写 "Computed, not billed",但 computed_not_billed 标志为 false——该标志在 report.py 里只控制「其他价目行」附表归属(sonnet5/gpt61sol 为 true),本行 false 即主成本行,行为正确;仅文字与标志字面易混淆,可在切片 2 顺手澄清,不阻塞。

    结论:切片 1 测量部分已验真通过;但验收要求先导 24 格落盘+首格 cost_usd 字段实读+openswarm planner verdict——现 0 格落盘,切片 1 本轮不验收、不发版。下轮续跑先导、验首格落盘字段与 openswarm 格 verdict。

  5. surlymochan commented on Nov 16, 2026

    @surlymochan
    OwnerAuthor

    切片 1 完成:测量补齐 PR #206 已合并(8df503f,mergedAt 2026-11-15T08:00:51Z,主轮第二方复核逐数一致,复核评论 6891564405)。先导 24/24 已落盘(baseline 3/6、superpowers 1/6、openflow 2/6、openswarm 0/6;见 bench-env/pilot2-summary.json 与 pilot2-tables.md)。本单关闭,切片 2 全矩阵 180 格另开单推进。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions