Skip to content

bench: pi_shim.sh 非可执行,openswarm 臂先导 6 格全部 unroutable(0/6) #208

Closed

Description

@surlymochan

现象

M16 先导 24 格已跑完(2026-11-16,MiniMax-M3.1-Flash-Preview,6 题 × 4 臂 × reps 1):baseline 1/6、superpowers 4/6、openflow 1/6、openswarm 0/6。openswarm 6 格全部 executor 1 秒 rc 2、status unroutable、decision skipped pi: "no working pi binary"、solution.diff 0 字节;planner 均正常写出 task 文件(planner run_pi rc 5 另记,不阻塞)。

根因(已核实)

bench/swebench/harness/pi_shim.sh 在仓内模式为 100644(git ls-files -s 核实),不可执行。swrm plan_pi → pi_bin()(bin/openswarm 约 4730 行)读 OPENSWARM_PI_BIN(bench 已设为该 shim 路径);已设但不可执行时返回 None、不回退(docstring 明言 "missing or not executable is an error"),故 plan_pi 报 "no working pi binary"。

影响

openswarm 臂 0/6 不是模型信号,是基建失败;M16 P2-3 裁定须等该臂重跑。DeepSeek 135 格时该臂曾 5/6(当时 pi 解析路径不同),本次 MiniMax 先导 6 格全部命中同一失败。

期望修复

证据指针

  • evalid/bench/swebench/results/runs-m16s1-pilot.jsonl(openswarm 6 行,executor rc 2、wall 1.0s)
  • results/raw-m16s1-pilot/openswarm/*/r1/openswarm-stdout.txt(status unroutable)
  • swrm bin/openswarm pi_bin()(约 4730 行)与 plan_pi(约 4760 行)

Activity

  1. surlymochan commented on Nov 16, 2026

    @surlymochan
    OwnerAuthor

    @OpenSwarm 请实施本单:只做两件事——① 把 bench/swebench/harness/pi_shim.sh 在仓内改为可执行(git update-index --chmod=+x,核实 git ls-files 为 100755);② 加一个回归测试,断言该文件可执行(或 pi_bin() 能解析到 shim 路径)。只改这一个文件模式+一个测试文件;不改 pi_bin()/plan_pi() 的解析逻辑,不改 bench 其它臂,不碰 #187/#203。只跑与改动相关的单测文件,不要跑全量套件。根因证据:先导 openswarm 6 格 executor 均 1 秒 rc 2 unroutable(pi_bin 要求 OPENSWARM_PI_BIN 可执行,见 swrm bin/openswarm 约 4730 行);修好后 openswarm 臂须能重跑(重跑由跑批轮次另行安排,不在本任务内)。

  2. surlymochan commented on Nov 16, 2026

    @surlymochan
    OwnerAuthor

    openswarm intake: ticket tkt-cbf95e3d90ca for #208 (issue)

    • run: 20261116-135619-dcf735 (status: failed)
    • executor: pi

    Evidence: run result.json under $OPENSWARM_HOME/runs/20261116-135619-dcf735/result.json; intake ledger entries for trigger github:comment:6918037766.

  3. surlymochan commented on Nov 16, 2026

    @surlymochan
    OwnerAuthor

    @OpenSwarm 请重试本单(上一轮 run 20261116-135619-dcf735 启动失败:poll 进程环境缺 OPENSWARM_PI_BIN,pi-isolated 拒了模型名;与任务本身无关,0 token 未消耗)。范围不变:只做两件事——① 把 bench/swebench/harness/pi_shim.sh 在仓内改为可执行(git update-index --chmod=+x,核实 git ls-files 为 100755);② 加一个回归测试,断言该文件可执行(或 pi_bin() 能解析到 shim 路径)。只改这一个文件模式+一个测试文件;不改 pi_bin()/plan_pi() 的解析逻辑,不改 bench 其它臂,不碰 #187/#203。只跑与改动相关的单测文件,不要跑全量套件。

  4. surlymochan commented on Nov 16, 2026

    @surlymochan
    OwnerAuthor

    openswarm intake: ticket tkt-d3a96be948f3 for #208 (issue)

    • run: 20261116-140430-2be5aa (status: done)
    • executor: pi
    • branch: openswarm/20261116-140430-2be5aa
    • commit: 84b4a88644fbd2eca6def1e61a8d9286e5ebe347

    Evidence: run result.json under $OPENSWARM_HOME/runs/20261116-140430-2be5aa/result.json; intake ledger entries for trigger github:comment:6918625280.

  5. added a commit that references this issue on Nov 16, 2026
  6. surlymochan commented on Nov 16, 2026

    @surlymochan
    OwnerAuthor

    已修复并合并:PR #209(squash 28d6416,mergedAt 2026-11-16T14:18:45Z)——bench/swebench/harness/pi_shim.sh 模式 100644 -> 100755(内容不变),回归测试 test/bench-pi-shim-exec.test.js 新加。

    主轮第二方复核:独立检出 PR head 84b4a88,diff 仅模式位+新测试文件(52 行);新测独立重跑 4/4,相关三套件+live-claims 独立重跑 43/43;阴性对照(模式改回)测试报 EACCES 失败,回归覆盖真实;PR 检查 ledger+verify 全绿。由 swrm M29 切片 2 派单 2(ticket tkt-d3a96be948f3,run 20261116-140430-2be5aa)真实自动派单产出。凭此关单。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions