Skip to content

feat(benchmark): enforce request admission at provider dispatch - #6900

Open
songoow wants to merge 1 commit into
codex/split-outcomes-feedbackfrom
codex/split-native-request-admission
Open

songoow wants to merge 1 commit into
codex/split-outcomes-feedbackfrom
codex/split-native-request-admission

Conversation

@songoow

@songoow songoow commented Oct 19, 2026 •

Copy link
Copy Markdown
Collaborator

目标与交付边界

原生一次 wake 可以连续发送多个模型请求。启动时获准,不能代表同一进程之后的请求仍获准:工作可能已进入等待、用户可能 Stop,原阶段预算也可能已到期。

这是 #6784 / #6838 拆分中的 C1 请求发送准入。在实际 provider POST 之前复核原进程、原 Turn 与当前 canonical admission,并保留有界的请求观测;继续复用既有 Host admission 与恢复规则。

Author Declaration

Implemented against

Criterion (spec clause) Disposition Symbol / path Test or command
研究运行合同:每次发送复核原进程、原 Turn、当前 wait/Stop 与阶段截止;旧请求不借用新绑定 implemented ResearchRequestGuard.lifetime/_bound_lifetime;benchmark/runtime/worker.py test_research_request_guard.py、test_research_request_guard_races.py;原四文件批次不完整,实际 worker resume 单例通过,详见验证表。
研究运行合同:连接在 authority 锁外,header/body 共用一秒发送预算,背压不能长期阻止 Stop writer implemented provider_gateway.py::_bounded_request_send 本轮原 test_backpressured_post_releases_the_goal_stop_writer[file] 精确诊断 1 passed,实际 body 背压在原一秒期限超时并释放准入;旧 C1/C3 失败按原记录保留。
RFC §5.4 / §6.3:请求观测、成本与 native outcome 分开,未知转发不伪造成成功或收益 implemented ResearchRequestGuard.observe;provider_gateway.py 请求日志字段及 worker 路由回归;没有正式 outcome 对照,收益声明不在本片范围。
  • Self-check before submission: 核对固定源码、三片 diff/tree、逐项测试回执和历史失败;旧运行与当前发布身份分开记录。当前 C1 原始背压单例通过,未改产品源码、断言或期限;没有据此将完整请求竞态矩阵记为全绿。未调用外部模型,未变更评分/预算。

变更与结果

  • 连接准备与 DNS/TCP/CONNECT/TLS 位于 Goal authority 锁外;进入发送边界后重新检查原绑定、准入与阶段截止时间。
  • 请求头、请求体与所有部分 socket write 共用一秒发送期限。更短的调用超时仍有效;响应读取沿用原超时,部分发送的上游受理保持未知。
  • 迟到的旧绑定拒绝只影响旧进程;真正的当前拒绝必须回到原恢复路径,重新 bind 不能清除拒绝。
  • worker 与 checkpoint 续接使用 invocation-only gateway 路由,固定的 Codex home 保留原配置。请求日志关联实际提供的 session/thread/Turn 标识,不保存载荷、凭据或上游地址。
  • 未显式启用研究处理时保留原请求路径。完整研究开关、执行证据、native 提交与反馈分别由后续 C2/C3 组合交付。

依赖与源码身份

  • PR base:codex/split-outcomes-feedback;前置 PR:feat(outcomes): route current evidence gaps through scoped replan feedback #6899;发布 head:4742ba78a1afd0e8a0eee962afed3f42cc02e8d2。
  • 本片来源 tree:dbf2a4e5f8ed416dffbdeff999a7908db8ff7d8d,基于 outcomes tree 3019696f6cde0c866e16af2db5cb68b1371d87a8。
  • 共 8 个文件;原始拆分组合已核对恢复冻结来源;当前发布组合另继承 A1 测试归属迁移与 B4 fixture 退出时先等 HTTP 请求完成、注销自身 Effect runtime,并等待子进程 close 后再删临时根的修复,集成分支用于完整评测。本 PR 本身不启动模型或正式 benchmark。

验证与历史未通过项

检查 原验证输入与结果
变更路径 Ruff、明确路径检查、git diff --check 通过;本轮再次核对差异格式通过。
实际 worker planning/resume 上述 C1 tree,显式当前 checkout PYTHONPATH,1 passed;验证两次 gateway 路由、native 请求关联及固定 home。
原四文件回归 中止前观察到 37 passed、2 failed、1 teardown error;其中 worker 节点被中断,后来以上述独立结果重新验证。不能当作全套通过。
本轮背压下 Stop writer 精确诊断 原节点 test_backpressured_post_releases_the_goal_stop_writer[file],C1 commit 4c06ce7f63accfc61c38e64e8b0414ced2d92d11 / 上述来源 tree,显式 checkout Python imports,Node v24.19.0:1 passed / 0 failed / 0 skipped(31.05 秒)。临时内存阶段观测 wrapper 委托原函数,未改源码、断言或期限。真实 131085 字节 body send 在 1.002 秒触发原一秒超时;准入释放、Stop writer、部分发送未知、native 存活的原断言通过,teardown 0.979 秒通过。
历史背压下 Stop writer 回归 同一原节点曾在 C1 和完整来源 C3 tree 8f852d440aae2875e916463236c79fa5ee984aff 的受控单独运行均失败于相同的 30 秒收头断言;C1 另有 disposable runtime 清理错误。历史结果不改写为通过。

本轮选定的原始背压单例取得真实路径通过证据,没有得到需要修改 C1 产品代码的缺陷证据。历史失败的确定根因仍未证明;本轮一个 File 单例不等于完整请求竞态矩阵或 C3 同节点均通过。原 10/30 秒断言与产品期限均未放宽。这些工程验证不证明首次候选质量或长期收益已改善。

本轮发布链与集成验证

  • 本 PR 当前发布 head:4742ba78a1afd0e8a0eee962afed3f42cc02e8d2;tree:7ed60fa81c4e7e079d0635a011defb7c88e30f2f。
  • 完整拆分现为 12 个普通 PR。实际 source refs、head/tree 和依赖祖先已逐一读回;每片 base 为真实已发布前片,完整顺序与后续状态集中维护在 #6838。
  • 统一集成分支 commit d1dc8ebfe,tree cb8b1777655d7f37e3571b5087d6cd4db286dbbd,组合本次观察的 main 45d742088a3f7896a0a008761f68d2437398bcd1 与上述 12 个实际 source heads。LoopX supplied-candidate 收据为 in_sync、drift 为空;远端集成 head 已读回。
  • 完整性:集成 tree 等于冻结的完整来源与同一 main 合并后,加 A1 的 v2 测试断言迁移及 B4 的请求 drain/退出检查修复。唯一合并冲突是 chat_store.py 指标基线,按自动合并文件实测的 2067 行结算;没有新增集成专用产品逻辑。
  • 静态资格:逐切片 RFC 双语检查 12/12 通过;拆分基线后的唯一历史提交 DCO/作者匹配 14/14 通过。集成 tree 的 control-plane TypeScript 检查 passed(50.754 秒),标准 Chat 打包构建(包含 Dashboard TypeScript)passed(131.930 秒)。构建在同 tree 的本地候选上运行,随后核对与上述远端 tree 完全一致。
  • 当前 packaged UI:Outcome 恢复场景首轮在原 90 秒 fixture 启动窗口内未就绪(总计 92.463 秒),尚未进入浏览器;原失败保留,正在定位。Worker readback 与 research-history 的当前集成场景待串行验证。本段不将构建成功写成浏览器通过。
  • 本轮实际路径使用 synthetic 本地 authority/native HTTP,没有外部模型或正式 benchmark。每项历史/本轮来源版本仍按上文分别记载;CI 和 review 的合并门禁单独判定。

Signed-off-by: Codex <codex@openai.com>

Rebuild this complete slice on its actual published predecessor, preserving the disclosed acceptance test and worker fixture repairs.

Signed-off-by: song <liusongstep@gmail.com>

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant