## 缺陷 `bench/swebench/harness/arms.py:302`(`arm_openswarm`): ``` SHIM_TIMEOUT=str(budget_min * 60 + 30) ``` 而同一格传给 openswarm 的是 `--budget-minutes budget_min`,即 openswarm 预算只有 `budget_min * 60` 秒。SHIM_TIMEOUT 比 openswarm 预算长 30 秒:执行器跑满预算时,openswarm 先杀掉后端 shim(attempt rc=124),shim 在 `run_pi` 返回前就死了,来不及写 `executor-*-record.json`、也来不及把 pi 事件拷贝为 `executor-*-events.jsonl`;openswarm 自己捕获的 `events.1.pi.jsonl` 也是 0 字节(shim 只在结束时才一次性输出事件)。 ## 复现证据(openswarm 单格验证,#211 诊断的验证) - 格:openswarm / `sympy__sympy-13878` / r1;验证 cell run id `20261117-013602-da5999` - planner 286.2 秒 → remaining 913.8 秒 → `budget_min=14` → openswarm 预算 840 秒,SHIM_TIMEOUT=870 秒 - 执行器 openswarm attempt rc=124、seconds=843.292、status `budget_exceeded`;格事件目录内无 `executor-1-events.jsonl`,executor usage 行内全 0,cost 只计 planner tokens - 执行器 843 秒工作未产出任何 diff(solution.diff 0 字节、无 openswarm/* 分支),resolved=false - 执行器确实在干活:run_pi 原始事件 `executor-pi-events.jsonl` 21.9MB、14 turns / 23 tools,末事件为第 14 turn 进行中的 thinking_delta,被超时打断 - 证据工作区:`~/workspace/github-maturity/bench-env/ownrepo-1117-m16s2-openswarm-validate/`(VALIDATION.md、results/、logs/) ## 影响范围 切片 2 的 45 格 openswarm 臂(15 题 × reps 3)中,凡跑满预算的格将系统性缺 executor 事件与 token 记账(usage 全 0),且 843 秒级的工作无 diff、resolved 恒 false——不是模型失败,是 harness 在预算边界丢结果。只有执行器在预算内自行停下并产出时,事件文件才会出现。 ## 修复方向(本单施工,PR 见关联) 首选:SHIM_TIMEOUT 改为 `budget_min * 60 - 60`(840 秒预算 → 780 秒,留 60 秒 flush 余量;budget_min=1 时下限 30 秒)。依据:`run_pi.py` 超时路径会 SIGTERM 整个 pi 进程组、最多等 10 秒后 SIGKILL,随后仍打印含 `events_file` 的 record(事件文件由 pi 边跑边写,超时时已在盘上),shim 有时间写 record.json、拷贝并 cat 事件给 openswarm。 备选(本单不做):shim 捕获 SIGTERM 时先落盘已有事件;或 openswarm/shim 改为流式输出事件。 ## 读取时机:修复能否在 openswarm 臂开跑前热生效 已查代码与进程行为,结论:**不能热生效,须重启 run.py**。 - SHIM_TIMEOUT 的数值是每格现算的(`arm_openswarm` 内由 planner 剩余时间推导 `budget_min`),但计算公式在 `arms.py` 模块代码里。 - `run.py` 在 `main()` 启动时一次性 `import arms`(run.py:182),全 bench 代码无 `importlib.reload`;跑批 run.py PID 2092 自 2026-11-17 05:48 起一直在跑,盘上改 `arms.py` 不会被已运行进程采纳。 - 只有每格以子进程现读的 `pi_shim.sh` 的改动才能热生效;本单的 `arms.py` 公式改动须重启 run.py 才能生效。 - 修复 PR 是否、何时合入跑批检出及是否重启跑批,由主轮决定;本单只交付 PR+复验证据,不动跑批进程与跑批检出。 ## 复验标准 同一单格(sympy__sympy-13878 openswarm r1)用修复后代码重跑:跑满预算的格仍有 `executor-1-events.jsonl`(或等价事件)落盘,且 executor usage 非全 0。
Activity
surlymochan commentedon Nov 17, 2026
修复 PR:#214(分支 m16s2-shim-timeout-213 @ 1e901b5,未自行合并)。
复验结论:通过。同一单格 sympy__sympy-13878 openswarm r1 用修复后代码重跑(复验 run 20261117-022946-47b767):planner 95.4 秒 → budget_min=17 → 预算 1020 秒,SHIM_TIMEOUT=960 秒;run_pi record timed_out=true、wall 961.4 秒;executor-1-events.jsonl 56,613,606 字节、3046 行已落盘,openswarm 自捕的 events.1.pi.jsonl 同样 56.6MB(未修复格为 0 字节);executor usage 44 turns / 47 tools 非全 0。证据见 ownrepo-1117-m16s2-shimfix-validate/VALIDATION.md。
提醒:本修复不能热生效——run.py 启动时一次性 import arms,在跑的 run.py PID 2092 不会采纳盘上改动;是否、何时合入跑批检出并重启跑批,由主轮决定。
fix(bench): SHIM_TIMEOUT below the openswarm budget so budget-exhaust…
surlymochan commentedon Nov 17, 2026
已修复并合入跑批:PR #214 squash 合并 14e8015(mergedAt 2026-11-17T02:55:54Z)。主轮第二方复核:独立检出 head 1e901b5,23 项测试全过(与施工员一致);复验证据实读相符——executor-1-events.jsonl 56,613,606 字节、cost $0.114937;PR CI ledger+verify 全绿。跑批已同步检出到 14e8015 并重启 bench-m16s2.service:新 supervise 97421/run.py 97440/代理 97432 存活、9933 监听;断点续跑 done=39/180、余 141 格、jsonl 零重复行;openswarm 臂 0 格,修复将在其开跑前生效。代价:重启时 2 格在途工作丢失(断点续跑机制内)。