Repository navigation
Open
Description
M16 slice 2:四臂 MiniMax 全矩阵 180 格跑批+#5 验收总账
总单 #204 的切片 2。切片 1 #205 已关(PR #206 合并 8df503f:per-cell cost 字段+无截尾墙钟口径)。
先导复核结论(24 格,bench-env/pilot2-summary.json、pilot2-tables.md)
- baseline 3/6、superpowers 1/6、openflow 2/6、openswarm 0/6;26 行 harness_error 不入 n。
- 三臂 wall 中位均顶 1200s cap(1201/1209/1204s);MiniMax 合计约 $5.10(baseline $0.98、superpowers $2.09、openflow $1.71、openswarm $0.32)。
pilot2-summary.json里 openswarm 的timed_out: 6与原始格矛盾(原始格 wall 112–409s、非超时截尾),裁定以原始格为准,summary 的 timed_out 计数不可采信。
openswarm 0/6 根因(已证据化,非产品缺陷)
bench/swebench/harness/arms.pyplanner 调 run_pi 的 timeout 在先导期为硬编码 300 秒;换 MiniMax-M3.1-Flash-Preview 高思考后 6 格 planner 均 rc 143(SIGTERM 超时击杀)、wall 约 301 秒、note「planner did not write the task file」,executor 从未启动。- 补充:main 现已有 PR fix(bench): raise openswarm planner timeout 300s -> 600s #41 的 300→600 秒+PLANNER 提示词禁探索(禁跑命令/禁复现/禁全盘搜索、只写 task file+verify 命令);本切片即在全矩阵上验证 600s+新提示词是否收敛。600s 是与 1200s cap 匹配的分账(planner 600+executor 余量约 600),再往上加会挤占 executor 预算,故不直接抬到 1200。
全矩阵参数(180 格)
- 15 题 × 4 臂(baseline、superpowers、openflow、openswarm)× reps 3,
--jobs 2,--label minimax,--prediction-model "MiniMax-M3.1-Flash-Preview"(高思考)。 BENCH_PI_ISOLATE=1,TMPDIR bench-env/tmp;输出results/runs-m16s2-full.jsonl、raw-rootresults/raw-m16s2-full(新文件,不复用旧三臂runs-minimax-full.jsonl)。- 15 题:
pylint-dev__pylint-4551、pylint-dev__pylint-8898、pytest-dev__pytest-10356、pytest-dev__pytest-5787、pytest-dev__pytest-6197、sympy__sympy-12489、sympy__sympy-13852、sympy__sympy-13878、sympy__sympy-14248、sympy__sympy-15599、sympy__sympy-16597、sympy__sympy-17630、sympy__sympy-18199、sympy__sympy-19040、sympy__sympy-24213。 - 预计 MiniMax 约 $38(先导 24 格约 $5.10 外推);撞 429/额度耗尽记断点、不硬顶;run.py 可续跑。
- 背景:旧三臂
runs-minimax-full.jsonl实际已跑完 135/135 有效格(baseline 23/45、superpowers 20/45、openflow 21/45),但用的是切片 1 之前 的测量口径(无 per-cell cost 字段、墙钟截尾),与新验收口径不一致,故本切片全量重测 180 格、同一口径出表。
验收口径(#204 原文,三项各有终局裁定后 #5 关单)
- P1-2:墙钟与 $/task 中位 ≤1.3× baseline(基线以本轮 baseline 臂重新锚定),且已解数不低于 4/6(原 6 题口径)。
- P1-3:openflow 臂中位 tokens(含 cache)≤2.0M。
- P2-3:openswarm 臂跑完、4 臂同表,或 MiniMax 表正式撤下。
- 每项通过即在 Optimization backlog from SWE-bench Verified results (overhead, measurement, next round) #5 勾选并附数字证据;不通过须在 Optimization backlog from SWE-bench Verified results (overhead, measurement, next round) #5 给出下一刀(根因+下一刀口),不凑通过、不静默续挂。
本切片工作
- bench-env/evalid 同步到 main(v0.5.36 f328a59),核实 pi_shim.sh 可执行位
- planner 超时处置(见上:600s+禁探索提示词已在 main,本切片验证;若全矩阵仍不收敛,另开修复、不在本单内改线)
- MiniMax 就绪核查(pi 冒烟 high、代理 9933、额度数字)
- 新建切片 2 专用 systemd unit+wrapper,setsid+nohup 脱离启动,180 格跑批
- 跑完出表+三项裁定草稿(裁定本身归切片 3)
Metadata
Metadata
Assignees
Labels
No labels
Activity
Merge pull request #212 from surlymochan/m16s2-planner-timeout
surlymochan commentedon Nov 16, 2026
启动记录(03:4x SGT,施工员回传):
EVALID_PLANNER_TIMEOUT_S,默认 600)——PR fix(bench): planner timeout configurable, default 600s (M16 slice 2, #211) #212(8611b30)CI 全绿已合并,本地单测 40/40。smoke-healthcheck-m16s2success=1(MiniMax-M3.1-Flash-Preview、high、8.1s、SMOKE-OK);代理 9933 监听(PID 23523)。余额 API 数字未从 bench 基建取到(无余额接口);180 格预计约 $38。bench-m16s2.service已启动:supervise PID 32237、run.py PID 32247;180 格(15 题×4 臂×reps 3、jobs 2),输出results/runs-m16s2-full.jsonl,首格落盘待验;预计约 30 小时。surlymochan commentedon Nov 16, 2026
VM 换机中断(约 19:44–19:45 UTC,启动后约 6 分钟):supervise/run.py/代理全灭、/etc 下单元丢失;重启前 0 格落盘、零损失。已按既定路径恢复重拉:bench-pilot 恢复(exit 0),bench-m16s2.service 重装启动——supervise PID 4795、run.py PID 4968、代理 PID 4810(supervise 自动重拉)、9933 监听;日志 pass 1 done=0/180。首格落盘重新待验。
surlymochan commentedon Nov 16, 2026
首格落盘(重启后约 20 分钟,20:07:50Z):runs-m16s2-full.jsonl 已有 2 行——sympy__sympy-12489 baseline r1 resolved=true(wall 1201.2s、timed_out、f2p 1/1、p2p 8/8、cost $0.034617、price row minimax-m31-flash)、sympy__sympy-13852 baseline r1 resolved=false(wall 1201.1s、cost $0.012089)。新 cost 字段+无截尾墙钟口径已实测出数。进程全活:supervise PID 4795、run.py PID 4968、代理 PID 4810、9933 监听。180 格继续跑批,预计约 30 小时。
surlymochan commentedon Nov 16, 2026
更正(主轮第二方复核,2026-11-17 04:0x SGT):本单正文引用的先导数字有误——pilot2-summary.json / pilot2-tables.md 是 2026-11-07 旧 pilot2 的数据(source 注明 runs-minimax-pilot2.jsonl;其 openswarm 行 started=2026-11-07T02:18–02:34Z),不是 M16 先导。M16 先导真文件为 runs-m16s1-pilot.jsonl(30 行:24 clean+6 harness-error),真数字:baseline 1/6、superpowers 4/6、openflow 1/6、openswarm 0/6;openswarm 6 格均为快败(wall 113–409s、timed_out=false),每格 planner rc=5、executor rc=2(1s)——不是 300 秒超时击杀(planner rc 143 是 11-07 的事,PR #41 c1b0c84 已把超时抬到 600)。PR #212 只把 planner 超时做成可配置、默认值未变,未解决 M16 的 rc 5 故障;openswarm 臂诊断已另派,切片 2 的 openswarm 臂(45 格,臂顺序最后、约 22 小时后才跑)是否受影响待诊断结论。本单正文数字以本评论为准;验收仍以切片 2 全矩阵落盘数据裁定。
surlymochan commentedon Nov 16, 2026
诊断结论(主轮派诊断员逐格核实原始证据,2026-11-17 04:4x SGT):先导 openswarm 0/6 是两起独立故障叠加。① planner rc=5 是误报:pi 进程 exit 0,run_pi.py 因终答里的 repo 相对路径在 rundir 下不存在而判 claimed_missing、返回 5;6 格 planner 均以 agent_end 收尾、executor-task.md 与 verify.txt 均已落盘,arms.py 只看 task_file.exists()、rc 5 未阻塞任何一步。② executor rc=2 是真故障:openswarm CLI 判 unroutable、"no working pi binary"——先导窗口内 pi_shim.sh 为 100644 不可执行(PR #209 于 14:18:45 UTC 才改为 100755),shim 从未被调用。③ 切片 2 仍会失败:chmod 之后还有第二道关——swrm plan_pi 在 pi.require_isolation=true 时校验 realpath(binary)==realpath(pi-isolated),shim 路径与 pi-isolated 不等,必返 "pi requires the isolated launcher"。修复方案(swrm 侧,另派施工):plan_pi 中 OPENSWARM_PI_BIN 被显式设置时视为操作员授权 wrapper、跳过 pi-isolated 身份校验;验证标准为单格 openswarm cell 跑通(status.json 非 unroutable 且出现 executor-1-events.jsonl),验证通过前切片 2 的 45 格 openswarm 臂预期仍为 0/45。跑批本身未受诊断影响(supervise/run.py/代理存活,见台账)。
surlymochan commentedon Nov 17, 2026
openswarm 单格验证结论:不通过(2026-11-17 09:5x SGT)
单格
sympy__sympy-13878openswarm r1 已跑完,验证标准两项只满足一项:budget_exceeded(openswarm-stdout.txt / result.json / status.json 三处一致,run id20261117-013602-da5999)executor-1-events.jsonl未出现:格事件目录内无此文件、无 executor-1-record.json诊断的两起故障已修复
先导 0/6 的两起故障均未复发:无
unroutable、无no working pi binary、无pi requires the isolated launcher。openswarm 正常路由到 pi 后端,执行器真实工作 843 秒(run_pi 原始事件 1681 行、14 turns、23 tool calls、0 errors,末事件为第 14 turn 进行中的 thinking_delta,被超时打断;任务内容确为 sympy-13878 的 Arcsin CDF)。planner rc=5 仍是已知误报(286.2 秒、2 turns,executor-task.md 与 verify.txt 均已写出)。剩余的新缺陷:shim 超时比 openswarm 预算长,跑满预算必丢事件
--budget-minutes 14(840 秒);SHIM_TIMEOUT=870 秒。推论:只要执行器跑满预算,executor-1-events.jsonl 必缺失,切片 2 的 45 格 openswarm 臂中跑满预算的格将系统性缺 executor 事件与 token 记账。修复方向(仅诊断):让 SHIM_TIMEOUT 小于 openswarm 预算、或 shim 捕获 SIGTERM 时先落盘已有事件、或改流式输出事件。
单格实测数
cell wall 1141.8 秒,timed_out=false,resolved=false,diff 0 行;grade f2p 0/1(test_arcsin 未过)、p2p 19/19;cost_usd 0.021012(仅 planner tokens,executor usage 行内全 0);executor harness 行 rc=1、wall 846.0 秒。openswarm commit 5aa074f(tool-version.json 实读);evalid @ f5ea48a、swrm @ 5aa074f。
证据
bench-env/ownrepo-1117-m16s2-openswarm-validate/results/runs-m16s2-openswarm-validate.jsonlbench-env/ownrepo-1117-m16s2-openswarm-validate/results/raw-m16s2-openswarm-validate/openswarm/sympy__sympy-13878/r1/openswarm-stdout.txt(同目录另有 result.json、status.json、executor-task.md、verify.txt)executor-pi-events.jsonl(21.9MB,run_pi 原始事件;原件bench-env/pi/runs/gity-swe-minimax-openswarm-sympy-13878-r1-exec.20261117T013603.jsonl)bench-env/ownrepo-1117-m16s2-openswarm-validate/VALIDATION.md跑批未受影响:验证期间 runs-m16s2-full.jsonl 31→34 行、0 快败、0 harness_error;supervise/run.py/代理全程存活,lock-count 已恢复为 1。