Skip to content

M16 slice 2:SHIM_TIMEOUT 长于 openswarm 预算,跑满预算的格丢失 executor 事件(#211 跟进) #213

Closed

Description

@surlymochan

缺陷

bench/swebench/harness/arms.py:302(arm_openswarm):

SHIM_TIMEOUT=str(budget_min * 60 + 30)

而同一格传给 openswarm 的是 --budget-minutes budget_min,即 openswarm 预算只有 budget_min * 60 秒。SHIM_TIMEOUT 比 openswarm 预算长 30 秒:执行器跑满预算时,openswarm 先杀掉后端 shim(attempt rc=124),shim 在 run_pi 返回前就死了,来不及写 executor-*-record.json、也来不及把 pi 事件拷贝为 executor-*-events.jsonl;openswarm 自己捕获的 events.1.pi.jsonl 也是 0 字节(shim 只在结束时才一次性输出事件)。

复现证据(openswarm 单格验证,#211 诊断的验证)

  • 格:openswarm / sympy__sympy-13878 / r1;验证 cell run id 20261117-013602-da5999
  • planner 286.2 秒 → remaining 913.8 秒 → budget_min=14 → openswarm 预算 840 秒,SHIM_TIMEOUT=870 秒
  • 执行器 openswarm attempt rc=124、seconds=843.292、status budget_exceeded;格事件目录内无 executor-1-events.jsonl,executor usage 行内全 0,cost 只计 planner tokens
  • 执行器 843 秒工作未产出任何 diff(solution.diff 0 字节、无 openswarm/* 分支),resolved=false
  • 执行器确实在干活:run_pi 原始事件 executor-pi-events.jsonl 21.9MB、14 turns / 23 tools,末事件为第 14 turn 进行中的 thinking_delta,被超时打断
  • 证据工作区:~/workspace/github-maturity/bench-env/ownrepo-1117-m16s2-openswarm-validate/(VALIDATION.md、results/、logs/)

影响范围

切片 2 的 45 格 openswarm 臂(15 题 × reps 3)中,凡跑满预算的格将系统性缺 executor 事件与 token 记账(usage 全 0),且 843 秒级的工作无 diff、resolved 恒 false——不是模型失败,是 harness 在预算边界丢结果。只有执行器在预算内自行停下并产出时,事件文件才会出现。

修复方向(本单施工,PR 见关联)

首选:SHIM_TIMEOUT 改为 budget_min * 60 - 60(840 秒预算 → 780 秒,留 60 秒 flush 余量;budget_min=1 时下限 30 秒)。依据:run_pi.py 超时路径会 SIGTERM 整个 pi 进程组、最多等 10 秒后 SIGKILL,随后仍打印含 events_file 的 record(事件文件由 pi 边跑边写,超时时已在盘上),shim 有时间写 record.json、拷贝并 cat 事件给 openswarm。

备选(本单不做):shim 捕获 SIGTERM 时先落盘已有事件;或 openswarm/shim 改为流式输出事件。

读取时机:修复能否在 openswarm 臂开跑前热生效

已查代码与进程行为,结论:不能热生效,须重启 run.py。

  • SHIM_TIMEOUT 的数值是每格现算的(arm_openswarm 内由 planner 剩余时间推导 budget_min),但计算公式在 arms.py 模块代码里。
  • run.py 在 main() 启动时一次性 import arms(run.py:182),全 bench 代码无 importlib.reload;跑批 run.py PID 2092 自 2026-11-17 05:48 起一直在跑,盘上改 arms.py 不会被已运行进程采纳。
  • 只有每格以子进程现读的 pi_shim.sh 的改动才能热生效;本单的 arms.py 公式改动须重启 run.py 才能生效。
  • 修复 PR 是否、何时合入跑批检出及是否重启跑批,由主轮决定;本单只交付 PR+复验证据,不动跑批进程与跑批检出。

复验标准

同一单格(sympy__sympy-13878 openswarm r1)用修复后代码重跑:跑满预算的格仍有 executor-1-events.jsonl(或等价事件)落盘,且 executor usage 非全 0。

Activity

  1. surlymochan commented on Nov 17, 2026

    @surlymochan
    OwnerAuthor

    修复 PR:#214(分支 m16s2-shim-timeout-213 @ 1e901b5,未自行合并)。

    复验结论:通过。同一单格 sympy__sympy-13878 openswarm r1 用修复后代码重跑(复验 run 20261117-022946-47b767):planner 95.4 秒 → budget_min=17 → 预算 1020 秒,SHIM_TIMEOUT=960 秒;run_pi record timed_out=true、wall 961.4 秒;executor-1-events.jsonl 56,613,606 字节、3046 行已落盘,openswarm 自捕的 events.1.pi.jsonl 同样 56.6MB(未修复格为 0 字节);executor usage 44 turns / 47 tools 非全 0。证据见 ownrepo-1117-m16s2-shimfix-validate/VALIDATION.md。

    提醒:本修复不能热生效——run.py 启动时一次性 import arms,在跑的 run.py PID 2092 不会采纳盘上改动;是否、何时合入跑批检出并重启跑批,由主轮决定。

  2. surlymochan commented on Nov 17, 2026

    @surlymochan
    OwnerAuthor

    已修复并合入跑批:PR #214 squash 合并 14e8015(mergedAt 2026-11-17T02:55:54Z)。主轮第二方复核:独立检出 head 1e901b5,23 项测试全过(与施工员一致);复验证据实读相符——executor-1-events.jsonl 56,613,606 字节、cost $0.114937;PR CI ledger+verify 全绿。跑批已同步检出到 14e8015 并重启 bench-m16s2.service:新 supervise 97421/run.py 97440/代理 97432 存活、9933 监听;断点续跑 done=39/180、余 141 格、jsonl 零重复行;openswarm 臂 0 格,修复将在其开跑前生效。代价:重启时 2 格在途工作丢失(断点续跑机制内)。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions