Skip to content

M16 slice 2: 四臂 MiniMax 全矩阵 180 格跑批+#5 验收总账 #211

Open

Description

@surlymochan

M16 slice 2:四臂 MiniMax 全矩阵 180 格跑批+#5 验收总账

总单 #204 的切片 2。切片 1 #205 已关(PR #206 合并 8df503f:per-cell cost 字段+无截尾墙钟口径)。

先导复核结论(24 格,bench-env/pilot2-summary.json、pilot2-tables.md)

  • baseline 3/6、superpowers 1/6、openflow 2/6、openswarm 0/6;26 行 harness_error 不入 n。
  • 三臂 wall 中位均顶 1200s cap(1201/1209/1204s);MiniMax 合计约 $5.10(baseline $0.98、superpowers $2.09、openflow $1.71、openswarm $0.32)。
  • pilot2-summary.json 里 openswarm 的 timed_out: 6 与原始格矛盾(原始格 wall 112–409s、非超时截尾),裁定以原始格为准,summary 的 timed_out 计数不可采信。

openswarm 0/6 根因(已证据化,非产品缺陷)

  • bench/swebench/harness/arms.py planner 调 run_pi 的 timeout 在先导期为硬编码 300 秒;换 MiniMax-M3.1-Flash-Preview 高思考后 6 格 planner 均 rc 143(SIGTERM 超时击杀)、wall 约 301 秒、note「planner did not write the task file」,executor 从未启动。
  • 补充:main 现已有 PR fix(bench): raise openswarm planner timeout 300s -> 600s #41 的 300→600 秒+PLANNER 提示词禁探索(禁跑命令/禁复现/禁全盘搜索、只写 task file+verify 命令);本切片即在全矩阵上验证 600s+新提示词是否收敛。600s 是与 1200s cap 匹配的分账(planner 600+executor 余量约 600),再往上加会挤占 executor 预算,故不直接抬到 1200。

全矩阵参数(180 格)

  • 15 题 × 4 臂(baseline、superpowers、openflow、openswarm)× reps 3,--jobs 2,--label minimax,--prediction-model "MiniMax-M3.1-Flash-Preview"(高思考)。
  • BENCH_PI_ISOLATE=1,TMPDIR bench-env/tmp;输出 results/runs-m16s2-full.jsonl、raw-root results/raw-m16s2-full(新文件,不复用旧三臂 runs-minimax-full.jsonl)。
  • 15 题:pylint-dev__pylint-4551、pylint-dev__pylint-8898、pytest-dev__pytest-10356、pytest-dev__pytest-5787、pytest-dev__pytest-6197、sympy__sympy-12489、sympy__sympy-13852、sympy__sympy-13878、sympy__sympy-14248、sympy__sympy-15599、sympy__sympy-16597、sympy__sympy-17630、sympy__sympy-18199、sympy__sympy-19040、sympy__sympy-24213。
  • 预计 MiniMax 约 $38(先导 24 格约 $5.10 外推);撞 429/额度耗尽记断点、不硬顶;run.py 可续跑。
  • 背景:旧三臂 runs-minimax-full.jsonl 实际已跑完 135/135 有效格(baseline 23/45、superpowers 20/45、openflow 21/45),但用的是切片 1 之前 的测量口径(无 per-cell cost 字段、墙钟截尾),与新验收口径不一致,故本切片全量重测 180 格、同一口径出表。

验收口径(#204 原文,三项各有终局裁定后 #5 关单)

  1. P1-2:墙钟与 $/task 中位 ≤1.3× baseline(基线以本轮 baseline 臂重新锚定),且已解数不低于 4/6(原 6 题口径)。
  2. P1-3:openflow 臂中位 tokens(含 cache)≤2.0M。
  3. P2-3:openswarm 臂跑完、4 臂同表,或 MiniMax 表正式撤下。
  4. 每项通过即在 Optimization backlog from SWE-bench Verified results (overhead, measurement, next round) #5 勾选并附数字证据;不通过须在 Optimization backlog from SWE-bench Verified results (overhead, measurement, next round) #5 给出下一刀(根因+下一刀口),不凑通过、不静默续挂。

本切片工作

  • bench-env/evalid 同步到 main(v0.5.36 f328a59),核实 pi_shim.sh 可执行位
  • planner 超时处置(见上:600s+禁探索提示词已在 main,本切片验证;若全矩阵仍不收敛,另开修复、不在本单内改线)
  • MiniMax 就绪核查(pi 冒烟 high、代理 9933、额度数字)
  • 新建切片 2 专用 systemd unit+wrapper,setsid+nohup 脱离启动,180 格跑批
  • 跑完出表+三项裁定草稿(裁定本身归切片 3)

Activity

  1. added a commit that references this issue on Nov 16, 2026
  2. surlymochan commented on Nov 16, 2026

    @surlymochan
    OwnerAuthor

    启动记录(03:4x SGT,施工员回传):

    • bench-env/evalid 已同步到 main f5ea48a(v0.5.36+PR fix(bench): planner timeout configurable, default 600s (M16 slice 2, #211) #212);3 个未提交文件(prices.json、report.py、run.py)与 main 逐字节一致,零损失丢弃;pi_shim.sh 可执行位恢复(main 100755,本地曾丢)。
    • 超时处置:main 已含 PR fix(bench): raise openswarm planner timeout 300s -> 600s #41 的 300→600 秒+提示词禁探索;600 是与 1200s cap 匹配的分账,本切片改为可配置(EVALID_PLANNER_TIMEOUT_S,默认 600)——PR fix(bench): planner timeout configurable, default 600s (M16 slice 2, #211) #212(8611b30)CI 全绿已合并,本地单测 40/40。
    • MiniMax 就绪:pi 冒烟 smoke-healthcheck-m16s2 success=1(MiniMax-M3.1-Flash-Preview、high、8.1s、SMOKE-OK);代理 9933 监听(PID 23523)。余额 API 数字未从 bench 基建取到(无余额接口);180 格预计约 $38。
    • bench-m16s2.service 已启动:supervise PID 32237、run.py PID 32247;180 格(15 题×4 臂×reps 3、jobs 2),输出 results/runs-m16s2-full.jsonl,首格落盘待验;预计约 30 小时。
  3. surlymochan commented on Nov 16, 2026

    @surlymochan
    OwnerAuthor

    VM 换机中断(约 19:44–19:45 UTC,启动后约 6 分钟):supervise/run.py/代理全灭、/etc 下单元丢失;重启前 0 格落盘、零损失。已按既定路径恢复重拉:bench-pilot 恢复(exit 0),bench-m16s2.service 重装启动——supervise PID 4795、run.py PID 4968、代理 PID 4810(supervise 自动重拉)、9933 监听;日志 pass 1 done=0/180。首格落盘重新待验。

  4. surlymochan commented on Nov 16, 2026

    @surlymochan
    OwnerAuthor

    首格落盘(重启后约 20 分钟,20:07:50Z):runs-m16s2-full.jsonl 已有 2 行——sympy__sympy-12489 baseline r1 resolved=true(wall 1201.2s、timed_out、f2p 1/1、p2p 8/8、cost $0.034617、price row minimax-m31-flash)、sympy__sympy-13852 baseline r1 resolved=false(wall 1201.1s、cost $0.012089)。新 cost 字段+无截尾墙钟口径已实测出数。进程全活:supervise PID 4795、run.py PID 4968、代理 PID 4810、9933 监听。180 格继续跑批,预计约 30 小时。

  5. surlymochan commented on Nov 16, 2026

    @surlymochan
    OwnerAuthor

    更正(主轮第二方复核,2026-11-17 04:0x SGT):本单正文引用的先导数字有误——pilot2-summary.json / pilot2-tables.md 是 2026-11-07 旧 pilot2 的数据(source 注明 runs-minimax-pilot2.jsonl;其 openswarm 行 started=2026-11-07T02:18–02:34Z),不是 M16 先导。M16 先导真文件为 runs-m16s1-pilot.jsonl(30 行:24 clean+6 harness-error),真数字:baseline 1/6、superpowers 4/6、openflow 1/6、openswarm 0/6;openswarm 6 格均为快败(wall 113–409s、timed_out=false),每格 planner rc=5、executor rc=2(1s)——不是 300 秒超时击杀(planner rc 143 是 11-07 的事,PR #41 c1b0c84 已把超时抬到 600)。PR #212 只把 planner 超时做成可配置、默认值未变,未解决 M16 的 rc 5 故障;openswarm 臂诊断已另派,切片 2 的 openswarm 臂(45 格,臂顺序最后、约 22 小时后才跑)是否受影响待诊断结论。本单正文数字以本评论为准;验收仍以切片 2 全矩阵落盘数据裁定。

  6. surlymochan commented on Nov 16, 2026

    @surlymochan
    OwnerAuthor

    诊断结论(主轮派诊断员逐格核实原始证据,2026-11-17 04:4x SGT):先导 openswarm 0/6 是两起独立故障叠加。① planner rc=5 是误报:pi 进程 exit 0,run_pi.py 因终答里的 repo 相对路径在 rundir 下不存在而判 claimed_missing、返回 5;6 格 planner 均以 agent_end 收尾、executor-task.md 与 verify.txt 均已落盘,arms.py 只看 task_file.exists()、rc 5 未阻塞任何一步。② executor rc=2 是真故障:openswarm CLI 判 unroutable、"no working pi binary"——先导窗口内 pi_shim.sh 为 100644 不可执行(PR #209 于 14:18:45 UTC 才改为 100755),shim 从未被调用。③ 切片 2 仍会失败:chmod 之后还有第二道关——swrm plan_pi 在 pi.require_isolation=true 时校验 realpath(binary)==realpath(pi-isolated),shim 路径与 pi-isolated 不等,必返 "pi requires the isolated launcher"。修复方案(swrm 侧,另派施工):plan_pi 中 OPENSWARM_PI_BIN 被显式设置时视为操作员授权 wrapper、跳过 pi-isolated 身份校验;验证标准为单格 openswarm cell 跑通(status.json 非 unroutable 且出现 executor-1-events.jsonl),验证通过前切片 2 的 45 格 openswarm 臂预期仍为 0/45。跑批本身未受诊断影响(supervise/run.py/代理存活,见台账)。

  7. surlymochan commented on Nov 17, 2026

    @surlymochan
    OwnerAuthor

    openswarm 单格验证结论:不通过(2026-11-17 09:5x SGT)

    单格 sympy__sympy-13878 openswarm r1 已跑完,验证标准两项只满足一项:

    • ✅ status 非 unroutable:budget_exceeded(openswarm-stdout.txt / result.json / status.json 三处一致,run id 20261117-013602-da5999)
    • ❌ executor-1-events.jsonl 未出现:格事件目录内无此文件、无 executor-1-record.json

    诊断的两起故障已修复

    先导 0/6 的两起故障均未复发:无 unroutable、无 no working pi binary、无 pi requires the isolated launcher。openswarm 正常路由到 pi 后端,执行器真实工作 843 秒(run_pi 原始事件 1681 行、14 turns、23 tool calls、0 errors,末事件为第 14 turn 进行中的 thinking_delta,被超时打断;任务内容确为 sympy-13878 的 Arcsin CDF)。planner rc=5 仍是已知误报(286.2 秒、2 turns,executor-task.md 与 verify.txt 均已写出)。

    剩余的新缺陷:shim 超时比 openswarm 预算长,跑满预算必丢事件

    • planner 286.2 秒 → budget_min=14 → openswarm --budget-minutes 14(840 秒);SHIM_TIMEOUT=870 秒。
    • 执行器跑满预算,openswarm 以 rc=124 在 843.292 秒杀死后端(shim),shim 在 run_pi 返回前就死了,从未来得及写 record.json、拷贝事件文件;openswarm 自己捕获的 events.1.pi.jsonl 也是 0 字节(shim 只在结束时一次性输出事件)。
    • 执行器 843 秒工作未产出 diff(solution.diff 0 字节、无 openswarm/* 分支),resolved=false。

    推论:只要执行器跑满预算,executor-1-events.jsonl 必缺失,切片 2 的 45 格 openswarm 臂中跑满预算的格将系统性缺 executor 事件与 token 记账。修复方向(仅诊断):让 SHIM_TIMEOUT 小于 openswarm 预算、或 shim 捕获 SIGTERM 时先落盘已有事件、或改流式输出事件。

    单格实测数

    cell wall 1141.8 秒,timed_out=false,resolved=false,diff 0 行;grade f2p 0/1(test_arcsin 未过)、p2p 19/19;cost_usd 0.021012(仅 planner tokens,executor usage 行内全 0);executor harness 行 rc=1、wall 846.0 秒。openswarm commit 5aa074f(tool-version.json 实读);evalid @ f5ea48a、swrm @ 5aa074f。

    证据

    • 行记录:bench-env/ownrepo-1117-m16s2-openswarm-validate/results/runs-m16s2-openswarm-validate.jsonl
    • openswarm verdict:bench-env/ownrepo-1117-m16s2-openswarm-validate/results/raw-m16s2-openswarm-validate/openswarm/sympy__sympy-13878/r1/openswarm-stdout.txt(同目录另有 result.json、status.json、executor-task.md、verify.txt)
    • 执行器真实工作证据:同目录 executor-pi-events.jsonl(21.9MB,run_pi 原始事件;原件 bench-env/pi/runs/gity-swe-minimax-openswarm-sympy-13878-r1-exec.20261117T013603.jsonl)
    • 完整结论:bench-env/ownrepo-1117-m16s2-openswarm-validate/VALIDATION.md

    跑批未受影响:验证期间 runs-m16s2-full.jsonl 31→34 行、0 快败、0 harness_error;supervise/run.py/代理全程存活,lock-count 已恢复为 1。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions