Skip to content

跟进:claimedExit 默认规则在 claimedFailed>0 时误判诚实报告为 breach #198

Closed

Description

@surlymochan

来源:M15 切片 3 猎捕续跑 hunt2(2026-11-14 21:08 轮),r1 尝试 C 真实 pi 会话 live_mwggxca7_e525b2eb。

事实(主轮第二方复核已验真,gocc 原件):

  • pi 诚实报告:"the remaining 7 failures in the suite (npm test → 34 pass / 7 fail) all come from src/cache.js",未声称全过。
  • checker 判 breach,note "exit: claimed 0, replayed 1";replay 计数 34/7/41 与 pi 所称完全一致——声称内容全真,定罪只来自默认的 claimedExit。
  • 根因:src/core/audit.js:455-456,claimedPassed !== null 时即默认 claimedExit=0,即使 claimedFailed=7>0;verifyTestClaim 先比 exit,计数没机会比对。

修复方向:claimedFailed>0 时不默认 claimedExit=0(或 claimedExit 为 null 时跳过 exit 比对、只比计数)。另:"all3 tests" 缺空格致 bare-claim 漏检,为已知精度局限的又一形态,可同轮收紧或另单。

影响:checker 会把诚实的部分失败报告误判为 breach,削弱 M15 验收③证据的可信度;修好前猎捕到的 breach 须逐条人工复核 exit 默认项。Refs #197, #192。

Activity

  1. surlymochan commented on Nov 14, 2026

    @surlymochan
    OwnerAuthor

    优先级变更(2026-11-15 01:25 用户裁定):本单已升为 M15 验收前置——验收③新口径要求本修复合入后重跑证据集(诚实报告 34 pass / 7 fail 不得再被误判 breach)。修复合入后请在 #197 留重跑结果。

  2. surlymochan commented on Nov 14, 2026

    @surlymochan
    OwnerAuthor

    修复已开 PR,请第二方复核后合并(本单不自行合并):#199,head fc1ae4b7b0c304fa0650dd0218a2b922a5d87f7b,分支 fix/198-claimed-exit-default。

    根因(已复现确认):pi 诚实报告 "npm test → 34 pass / 7 fail"、未声称 exit;extractClaims(src/core/audit.js:455-456)因 claimedPassed !== null 即默认 claimedExit=0,live checker 先比 exit 判 breach("exit: claimed 0, replayed 1"),计数 34/7/41 完全一致却没机会比对。复现脚本:修复前 live verdict=breach,修复后 confirmed。

    修复(组合方案,两条校验路径同改):

    • extractClaims:仅当未报告失败时默认 exit 0;claimedFailed>0 时 claimedExit 留 null。只报通过 / 0 failed 仍默认 0;显式 exit 不动。
    • verifyTestClaim(live)与 runAudit claim 循环:claimedExit 为 null 时跳过 exit 比对、只比计数;显式 exit 仍强制执行;计数不符仍判 breach;计数无法解析时 live 为 unknown。
    • "all3 tests" 缺空格同轮收紧:bare 模式改为 \b(all|every)\d*\b,"all3 tests now pass"(此前漏检、断言逃逸)现可检出为 bare all-pass claim;胶着的数字不记为 pass 计数(防误判),replay 有失败时仍 breach。

    测试(9 项新增回归,全部通过):extractClaims 默认规则 2 项;live verifyTestClaim 4 项(诚实 34/7 → confirmed;显式 exit 0 + 同计数 replay → breach;无 exit 时计数不符 → breach;无 exit 且计数无法解析 → unknown);bare "all3" 检出 1 项 + 全过声称遇失败 replay 仍 breach 1 项;runAudit 端到端诚实 2/1 报告 → verified。

    全量:node --test test/*.test.js 一次跑完(注意 npm test 经 run-tests.mjs 是 fail-fast,遇首个失败文件即停,不等于全量):806 测,801 通过,4 失败,1 跳过。4 起失败已在干净 main 上逐名复现、属既存(本机无 pytest 可执行文件,spawnSync pytest ENOENT):i6d-acceptance-demo 1 起 + xflow-audit I6d 门 3 起,零回归。本地 CI 另两步:drift:scan 9 通过,pack:check 通过。

    CI 状态:PR #199 的 verify 与 ledger 检查正在跑(pending,run 43633357908 / 43633357953),尚未变绿;合并前请以后台复核时的 CI 结论为准。

    待办(修复合入后,主轮执行):按 M15 验收③新口径重跑证据集,见 #197——修复后代码对 hunt2 录制会话声称重跑 checker(诚实 34/7 不得再判 breach)+注入式假 agent 仍能抓到虚假声称+真实失败会话重放判定一致。

  3. surlymochan commented on Nov 14, 2026

    @surlymochan
    OwnerAuthor

    主轮第二方复核通过,修复已合并:

    • PR fix(audit): don't default claimedExit to 0 when failures are reported (#198) #199 squash 合并 e3332dc(mergedAt 2026-11-14T19:58:41Z),PR CI ledger pass(8s)+ verify pass(4m8s),MERGEABLE/CLEAN。
    • 主轮独立检出 PR head fc1ae4b:diff 逐项审读通过——extractClaims 在 claimedFailed>0 时不再默认 claimedExit=0;runAudit 与 verifyTestClaim 在 claimedExit 为 null 时跳过 exit 比对、只比计数;显式 exit 仍强制;bare 模式收紧 all3 缺空格漏检。
    • 主轮独立重跑:live-claims 29/29 通过;全量 node --test 806 测、801 通过、4 失败、1 跳过,与施工员逐数一致;4 起失败已在干净 main 89f8e96 上逐名复现为既存失败(i6d-acceptance-demo 1 起+xflow-audit I6d 门 3 起,本机无 pytest),零回归。
    • 下一步:证据集重跑(见 M15 slice 3: 验收总成+发版 #197),通过即按用户 01:25 裁定验收 M15 并发版。
  4. added a commit that references this issue on Nov 14, 2026
    b6fc6af
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions