Skip to content

feat(bench): per-cell cost field + uncensored wall-clock protocol (M16 slice 1, #205) - #206

Merged
surlymochan merged 1 commit into
mainfrom
m16s1-cost-wall
Nov 15, 2026
Merged

surlymochan merged 1 commit into
mainfrom
m16s1-cost-wall

Conversation

@surlymochan

Copy link
Copy Markdown
Owner

M16 切片 1(#205):跑批前测量补齐

本 PR 只做测量与口径落地,不跑全矩阵(全矩阵 180 格是切片 2)。

$/task 成本字段

  • run.py:每格落盘新增 cost_usd + cost_price_row(按 token 用量 × MiniMax 价目折算),补 P1-2 的 $/task 腿(上轮总账该腿「无成本字段未测」)。
  • 价目基准:新 prices.json 行 minimax-m31-flash(input $0.15 / output $0.60 / cache_read $0.015 per 1M tokens,来源 https://platform.minimax.io/docs/pricing/overview,2026-11-15 实读)。定价页现直接列出 MiniMax-M3.1-Flash,取代旧 M3 Standard($0.30/$1.20/$0.06)代用口径;旧行保留以便复现 pilot2 中位价。Preview 本身无 PAYG 价、走 M Plan / MiniMax Code,故本字段为 computed、not billed(实际走 Token Plan)。
  • report.py:该行优先用落盘值、旧行无字段时回退重算(同一公式);默认 --price 改为 minimax-m31-flash。
  • 实测复核:旧 135 格全矩阵重算——M3.1-Flash 中位 $/task baseline $0.0589 / superpowers $0.0685 / openflow $0.0881(M3 行 $0.1555/$0.1922/$0.2731);比值对价目基准敏感(cache 占比不同),故 M16 全矩阵冻结此基准、不中途换。

墙钟截尾口径:选 B——保持 1200s 上限,截尾格单独计数+以未截尾格计中位

理由(135 格实测,非推测):

  • 126/135 格被截尾;62/64 个已解格也是被截尾后才落盘——agent 在修好后仍继续自我怀疑("The issue is fixed. Now, let me think about whether the hidden test might expect something more…")直至被杀;真正自停的仅 7/135 格(另 2 格为 429 快败 163s)。
  • 未截尾中位 per arm 只有 n=4/4/1(baseline 1021s / superpowers 436s / openflow 1147s),做不了 ≤1.3× 比值判定。
  • 提上限到 2400s 无证据表明中位可算(需 >50% 自停,实测 1200s 内仅 5%),却要约 2 倍 token 与约 2 倍墙钟(180 格约 8–10 天),比值仍可能截在 ~1.00——贵且不解决问题。
  • 保持 1200s 还保住与已完成 135 格矩阵的直接可比性。
  • 落地:report.py 新增每臂未截尾格中位+n(summary.json wall_s_uncensored_*、tables.md 新行);中位比值检验仅在两臂截尾率均 <50% 时可算,否则墙钟腿记「无法判定」、附截尾率与未截尾中位作证据,切片 3 再给下一刀。判定线本身不变。

openswarm 臂

验证

  • 新 test_cost_field.py(stdlib):公式、价目行、report 优先落盘值、未截尾墙钟统计——5/5 通过;旧 test_planner_prompt.py 7/7、test_diff_filter.py 7/7。
  • 旧 135 格 report 重算:截尾 41/41/44、未截尾中位与手工重算逐数一致。

…6 slice 1, #205)

- run.py records cost_usd + cost_price_row on every cell, priced at the
  new prices.json minimax-m31-flash row (MiniMax-M3.1-Flash list prices,
  fetched 2026-11-15; closest published PAYG price for the bench model
  MiniMax-M3.1-Flash-Preview). Computed, not billed (Token Plan).
- report.py prefers the recorded cost, falls back to recomputation for
  older rows; default --price is now minimax-m31-flash (M3 row retained
  for comparability with pilot2 medians).
- Wall clock: keep the 1200s cap (see #205 for the evidence); report.py
  now reports the median over uncensored cells only, with n, alongside
  the truncated count. Median over all cells is a cap artifact.
- test_cost_field.py: formula, price row, report preference, uncensored
  wall stats (stdlib only, 5 tests).
@surlymochan
surlymochan merged commit 8df503f into main Nov 15, 2026
2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant