Skip to content

[P1] 全面优化生产基础配置：消除 V8 OOM、后台空转和连接池饥饿，恢复可靠健康检查与运维入口 #153

New issue
New issue
Closed
#168
Closed
[P1] 全面优化生产基础配置：消除 V8 OOM、后台空转和连接池饥饿，恢复可靠健康检查与运维入口#153
#168

Description

@lyyzka
lyyzka
opened on Oct 16, 2026

本轮验收范围更新（2026-10-20，依据用户 00:08 UTC 最新指示）：继续完成基础能力、必要短测、审查及上线，并据实验收关闭；24 小时/更长 soak、完整负载、真实 provider 与全量 SPA 联合故障矩阵、供应商实际扣费凭证不作为本轮关闭前置条件，未完成项仍明确标为“未验证”，不会改写历史失败或计为通过。基础功能缺口仍须修复，不能仅修改文字关闭。

本 issue 的基础验收：后台职责与资源释放、连接池/超时预算、liveness/readiness 和安全重试边界可工作；针对性隔离短测通过，并核验现有或新发布版本的生产就绪及真实部署回执。

本轮基础能力、必要短测、独立审查和生产上线已完成，依据最新范围验收关闭；交付 source 554e81ac / runtime3.5.6，详见下方2026-10-20完成回执。长期和完整矩阵未验证项保留为历史边界。2026-10-17 的“无需部署/停止生产操作”描述已被本次最新上线要求替代，下方原文与旧证据保留为历史记录。固定暂停的 3.5.3 soak 和已暂停自动核验保持不动；不做生产故障注入，不改凭据、安全设置或生产数据。

范围更新（2026-10-17，用户明确指示）：当前部署服务离线是预期状态。本轮继续开发、隔离回归、PR 与 main 合并；停止部署、Komodo 连通性排查及生产操作。以下原方案第 5 项中的部署入口修复、验收第 3 项中的生产 update-state/分批上线要求已移出本轮范围，不作为开发阻塞，也不表示这些生产检查通过。健康检查、调度/连接预算与故障恢复代码仍须验证。原始生产诊断和历史要求保留以供追溯。原 3.5.1 Web/API 24h soak 持续运行，不能冒充新包或真实模型负载验收。最新开发见 PR174。

生产证据与影响

2026-10-16 对当前生产进行只读核查。Web/API 与 Worker 四个容器均运行镜像提交 9332947e099d27b7716236a99604fc548059f6ad，实际安装 @lyyzka/lingxios@3.4.7。本 issue 按用户要求独立跟踪基础配置的全面优化。

  • 当天 Web A、B 分别重启 2 次，日志均有 FATAL ERROR: Reached heap limit ... JavaScript heap out of memory；A 的时间为 03:14:15Z、12:50:31Z，B 为 03:14:02Z、12:53:00Z。两个 Worker 各重启 1 次，其中 B 日志保留了 07:33:04Z 的同类 V8 OOM。Docker OOMKilled=false 不否定 V8 自身因堆上限退出。
  • Web 配置为 320 MiB old-space / 640 MiB 容器内存 / 0.75 CPU；Worker 为 640 MiB old-space / 1 GiB / 1 CPU。四个进程的 PostgreSQL pool max 均为 8；连接获取超时 5 秒。通知监听长期占用连接，后台维护与前台请求共享池。
  • 保留的近 24 小时 Worker 日志中，A、B 分别有约 2,469、2,395 条 maintenance warning，涉及 usage/event/delivery ack、memory、dependency、fairness、approval、ingress/native outbox，核心异常为 timeout exceeded when trying to connect。不能把这些重试日志数当作失败对话数。
  • Web A 重启后约 2.7 小时已累计约 465,159 条 SQL、345,981 次 pool acquire，但只 claim 4 个 work；B 约 3 小时 450,940 条 SQL、只 claim 1 个 work。当前配置下，每个 control 实例启动多组每秒维护任务，三类 outbox 各有 4 条 lane，即使队列为空也会做 UPDATE/claim。Worker 的产品上下文也会初始化 control。已有同一 lane 的重入保护，问题不是简单的“缺少防重入”。
  • 网关记录了 /api/auth/ws-ticket、history、participants、/ws 等路径的 upstream connection refused，与 Web 退出窗口重合；Worker 有 control-plane fetch failed。业务 /api/health 在检查时返回 200，但仅表示进程存活。Komodo 公网运维入口的 TLS/连通性检查失败，官方 CLI 无法访问 API，尚不能读取其 update state。

证据边界：数据库取样仅约 31 idle、2 active，没有看到长 idle transaction 或 PostgreSQL max_connections=100 耗尽；数据库、Redis、Open Notebook、SurrealDB 在检查窗口未发现对应服务错误。已确认的是 V8 堆耗尽、连接获取超时和异常高的后台 SQL 压力；具体保留堆的对象及连接等待的各项贡献仍需 profile，不能宣称已经证明某个内存泄漏。

根因位置

最小完整方案

  1. 在隔离环境运行同一生产镜像，先测空闲、正常对话、突发并发三组基线：heap/GC、RSS、event-loop lag、pool active/idle/waiting、获取耗时、SQL/s、outbox oldest age 与实际工作吞吐。采集 allocation/heap profile，定位保留来源后再确定 heap、容器内存、CPU 与并发，保留 native/external memory 余量。
  2. 明确每类后台循环由哪些角色运行。通过 LingxiOS 公开配置/API 分配维护职责；需要依赖能力时在上游修复并升级精确发布版本，不恢复 vendored runtime，不混合 Web/API 与执行 Worker。空队列采用有上限的退避、通知唤醒与低频补扫；限制每进程后台 SQL 并发，给交互请求留出可测的余量。
  3. 依据全部实例、监听连接、迁移/运维预留和 PostgreSQL 容量计算总连接预算。查询、连接获取、事务、HTTP、worker lease 的超时要相互协调；不能只增大池或只抬高堆上限。索引/保留策略以实际慢查询、表增长、autovacuum 数据为依据；任何所需 DDL 用下一编号事务迁移，基线不可改。
  4. 分离 liveness 与 readiness：数据库/control 必需路径失效时退出流量；模型、可选检索等第三方暂时不可用不得导致无意义重启。对安全、可重试请求保留网关切换；有副作用的 POST 必须依赖应用幂等键和结果核对，不能全局开启盲重试。保留优雅下线与 lease fencing。
  5. 排查并修复 Komodo 的 DNS/证书/入口转发/云防火墙链路，恢复官方 CLI/API update state 的可验证访问；不把 SSH 容器存活当作部署验收。恢复既有监控：OOM/restart、连接等待、队列年龄、投递失败、LLM 类别化失败与前台延迟。取消/long-poll 断连、WuKong idle timeout/非法握手、外部扫描应与产品故障分开计数；OpenLIT 的孤立 digest TypeError 单独补栈并复现，未有证据把它归为对话失败根因。

验收

  • 提交可重复的同镜像 idle/负载/24 小时 soak 命令、机器规格、配置差异与脱敏曲线；无 V8 OOM、非预期重启、持续 pool wait 超时或队列年龄增长。明确比较优化前后的空闲 SQL/s、heap 趋势与对话 P95/P99。
  • 使用 tester-army/e2e 的官方 @e2e-dev/web 引擎，覆盖单 Web 下线、Worker 重启和短时数据库不可用；保留录屏/截图、脱敏时间线和断言产物，验证恢复后可继续发言且业务写入不重复。
  • Komodo CLI/API 可读到目标资源的最新 update 状态；健康检查能区分“活着”和“能接请求”。所有配置变更有分批上线、回退值与明确通过阈值。

本 issue 只建立修复与验收范围；本轮没有修改生产配置、重启服务或部署。

Activity

  1. lyyzka
    added a commit that references this issue on Oct 17, 2026

    Merge pull request #168 from LingXi-Org/fix/153-product-readiness-met…

    67b1e8b
  2. lyyzka
    closed this as completedin #168on Oct 17, 2026
  3. lyyzka
    reopened this on Oct 17, 2026

  4. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    Reopened after verifying the GitHub timeline: the close event at 2026-10-17T04:38:38Z has PR #168 as its closer. This was a PR-linked close, not a separate manual user closure, and the PR itself explicitly deferred full acceptance.

    Merged code: #168 product foundation, LingXi-Org/LingxiOS#24 and #25 scheduler/recovery, and #170 published runtime 3.5.1 integration. Final PR checks and main code/integration checks passed. Evidence: https://github.com/LingXi-Org/LingxiLoop/tree/78b7d91ca4acb47641637b3c391b6731d741763e/docs/evidence/runtime-reliability

    Remaining acceptance:

    • Paired immutable-image idle/dialogue/burst measurements, machine/container limits, SQL/s and P95/P99, retained-heap/allocation analysis.
    • A complete observed 24-hour soak with no V8 OOM, unexpected restart, persistent pool wait or queue-age growth; a stopped/unavailable cloud executor cannot count as a pass.
    • Official browser verification of the complete SPA/session-expiration path and single-Web/Worker/database fault recovery, including durable-write counts and next-message recovery.
    • Komodo authenticated latest-update state and production canary/rollback acceptance. Final main CD 39006795436 deployed Refine/control-plane and published/pinned the server image, but its initial Komodo read timed out before any server rollout trigger; no update ID was returned.

    Continuing isolated acceptance in the existing cloud environment. No new provider/credentials, manual deployment or production security change is authorized by this update. Controlled real-provider validation also remains blocked until an existing approved provider configuration, price and data boundary are available.

  5. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    Post-merge acceptance status (2026-10-17 06:14 UTC):

    • Cloud executor is available. Full SPA/D1 session-expiration and actual WuKong send-recovery tests are running. The actual login flow remains blocked by Turnstile verification; synthetic post-login session qualification is labelled separately.
    • Immutable image inspection found a release-blocking mismatch missed by root-only CI: image ea14c33 installed LingxiOS 3.4.7 via the independent server lock. PR fix: align production image runtime with qualified 3.5.1 #171 fixes the exact server pin plus build-time and regression guards, and merged at 23888a2. PR CI 39008299848 passed. Automatic main CI/CD 39009000704 is running; no manual deployment.
    • Corrected local runtime preflight verified 3.5.1/schema12, all 43 fresh migrations, repeat no-op, and PostgreSQL/Redis/control readiness. It reused the unchanged released SPA; final published image qualification is still pending.
    • No 24-hour soak has started, and there is no start/end time or pass. Production Worker preflight fails because this cloud kernel rejects bwrap user namespaces; no isolation/permission workaround was used. Local build disk pressure was resolved by deleting only identified temporary build caches and preflight artifacts, preserving databases and evidence.
    • This executor has no usable existing provider credentials or approved price configuration. No real-provider call or new vendor was used. Synthetic fixture provider cost is zero.
    • Komodo: no injected API credentials or Sigillo/CLI access. Cloud DNS lookup fails and its proxied public HTTPS probe returns 503; the previous GitHub rollout failed its initial read with a 10-second TCP connect timeout. This does not identify which security setting, if any, must change. No production configuration was changed.

    Remaining acceptance is still open; repository merge is not deployment/soak/provider acceptance.

  6. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    继续验收的最新恢复点：PR172 1a6405e8，修复完整 SPA 验收发现的 session 401 teardown / outbox 自动重发竞态。失败用例已稳定复现，修复后官方完整 SPA 6/6、Web owning 91/91；保留脱敏录屏、截图、真实数据库和 WuKong 原 nonce 数量，以及红/绿对照。PR172 正在 CI；#160 尚未关闭。

    PR171 自动主分支运行39009000704：server107/107、部署契约18/18、integration244过21显式skip0失败，镜像与manifest成功。正式镜像 sha256:0c295e66c29dcceab609c3d1715348bab6a90c6585d1280095cc0a61c33b3f29 已在隔离云环境核实公开releaseVersions为3.5.1/schema12。Komodo初始read仍10秒UND_ERR_CONNECT_TIMEOUT，触发部署之前失败，无update ID；未手动部署/扩权/改生产安全配置。

    同规格正式Web/API镜像的3轮交替idle/安全GET负载比较正在运行，随后采集受保护heap/allocation快照，仅发布脱敏聚合。它不算Agent对话/Worker吞吐。完整Worker受当前内核user namespace限制，真实provider没有现有可用凭据/价格配置；未创建任何凭据。完整24h soak未通过；可行范围的连续运行仍须单独记录开始、心跳、真实时长和终态。

    #158已依据当前3.5.1的17/17 integration与双受众官方浏览器结果关闭；#154依据真实WuKong/修复流程/联合浏览器验收关闭。逐项验收表与证据明确保留其余缺口。

  7. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    回复父任务最新状态查询（2026-10-17 06:46–06:49 UTC）：

    • 真实provider：本执行器无既有可用凭据/批准价格配置；0次真实provider调用。已请求现有云端注入位置/入口，不要求发送密钥，也不创建凭据。
    • 24h仅Web/API soak已真实启动：2026-10-17T06:42:47.900Z，最早结束2026-10-18T06:42:47.901Z；云进程PID285092（node scripts/runtime-acceptance/soak.mjs），候选容器lingxiloop-acceptance-candidate，正式image digest0c295e66c29dcceab609c3d1715348bab6a90c6585d1280095cc0a61c33b3f29。持久证据在/workspace/LingxiLoop-acceptance/.e2e/image-acceptance/soak/{state.json,heartbeats.jsonl}。完成须有terminal-receipt.json和>=86400秒连续心跳；当前running不能算通过。不是完整Worker/模型对话soak。
    • 同生产镜像Worker：bubblewrap --unshare-all创建user namespace失败（No permissions to create new namespace）；未使用privileged/unconfined/新增capability绕过。需要既有允许该公开sandbox要求的授权云执行器，不能把源码test模式当生产Worker验收。
    • Komodo：Google/Cloudflare公开DNS均正常解析到49.232.41.248；故不能断言公共DNS记录缺失。此执行器直接TCP的目标和控制地址均被立即拒绝，无法用它定位目标站防火墙；代理访问503。两个GitHub runner自动CD的初始read均10秒连接443超时。尚不能区分现有入口进程/转发/入站策略具体故障。最小外部操作是由已有运维通道核对现有HTTPS入口和转发状态，并用现有授权CLI/API验证只读请求可达；无需新密钥、扩权或取消安全限制。当前没有充分证据指定某条安全配置修改。
    • PR171已合并23888a225fb26fa153d731c14651ca59e4525e95；CD39009000704最终failure：检查/发布/manifest成功，Komodo初始read失败，无update ID。PR172已合并c3abc92640cf96feb42dd2b8b307df9c73b9d2e3；其本轮CD39010558109也已终态failure，同样检查/发布/manifest成功、Komodo初始read超时，无手工部署。

    性能比较18阶段完成，保留同规格三轮CSV/曲线与heap/allocation聚合。解析heap时辅助进程在旧640MiB容器触发cgroup OOM（发生在比较结束之后），已明确记录，改在同一云执行器外部解析；不把此次工具开销事故隐藏或算作长期泄漏诊断。新候选在开始soak前按记录重启，监测从实际启动时钟计时。

  8. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    PR173 合并前报告：最终 HEAD 3d49bb2ea124a5db90a5470866189c407740b6e3，#173 。

    审查覆盖公共 Worker API、真实 action intent/ledger 与消息计数、root 结果保留、有限故障注入、证据脱敏和 soak 判定；无阻塞项。官方浏览器运行 01a1489e-ba5a-73bf-a8e5-8e47fc88a713 10/10，零失败/跳过/重试；E2E typecheck、脚本语法、diff check 与 54 项 SHA-256 校验通过。

    远端 CI https://github.com/LingXi-Org/LingxiLoop/actions/runs/39012025840 成功，但现有路径规则只执行 changes，checks/integration/publish/deploy/rollout 全部显式 skipped，不称作远端测试通过。本 PR 没有产品运行时代码、配置或锁文件变更。

    保留缺口：无已授权真实 provider/pricing；生产 Worker 被云执行器 user namespace 限制；24h Web/API-only soak 从 2026-10-17 06:42:47.900 UTC 开始，尚未完成；真实 provider/cost 及完整 Worker/dialogue 测量未通过；171/172 自动 Komodo rollout 首次 read TCP connect timeout，无 update ID。

    持续交接：https://github.com/LingXi-Org/LingxiLoop/tree/codex/runtime-soak-evidence/docs/evidence/runtime-measurements/soak 。monitor PID285092、watcher PID298179，初始/每小时/终态自动推送，终态或过期自动评论本 issue；2026-10-18 06:50 UTC 已安排独立复查。主 README 记录完整云路径、复查命令和失败规则。

    按用户既有合并授权进行普通 merge，不使用 admin、保护绕过或手工部署。

  9. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    最终可交接状态（2026-10-17 07:03 UTC；不代表全部 issue 已验收）：

    持久交接文档（含证据、SHA、命令、限制）：
    https://github.com/LingXi-Org/LingxiLoop/blob/cad71ff73779d0f866526e727415de5bc34156e9/docs/evidence/runtime-measurements/README.md

    Soak：2026-10-17T06:42:47.900Z开始，最早2026-10-18T06:42:47.901Z结束，当前仅约20分钟，running、0 violations、0 restarts；不能称24h通过。monitor PID285092，watcher PID298179；live /workspace/LingxiLoop-acceptance/.e2e/image-acceptance/soak/，日志 /tmp/acceptance-soak.log 与 /tmp/acceptance-soak-watch.log。初始/每小时/终态证据自动推送到 https://github.com/LingXi-Org/LingxiLoop/tree/codex/runtime-soak-evidence/docs/evidence/runtime-measurements/soak ，初始commit d512ff2。终态/过期自动评论本issue，另已确认2026-10-18 06:50 UTC独立复查已启用。若执行器停止或证据陈旧，必须报告未完成，不能推断通过。

    外部最小动作仍为：用户仅在既有云环境注入已授权provider/route/pricing配置（无需聊天发送密钥）；使用支持现有bubblewrap user namespace隔离的已授权云执行环境完成Worker验收；现有Komodo操作者检查HTTPS入口/listener/forwarding并先做只读API/CLI连通验证。现有诊断不能断言远端DNS/防火墙根因，不提出扩权或安全绕过。

  10. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    按用户新要求，部署离线从本轮开发阻塞中移除；停止 Komodo 排查、部署尝试和生产操作。现有 soak PID285092/watcher298179持续有效，未重复启动。

    重新审查发现并已用失败测试复现真实代码缺口：外层总模型超时抛出裸 TimeoutError，产品终态错误显示 execution_failed 而非 model_unavailable；semantic-memory embedding 丢失错误分类且缺少 provider/model/credential 熔断。上游 PR26 LingXi-Org/LingxiOS#26 修复并计划发布3.5.2（schema12不变，无新迁移）；本地定向回归通过，完整test/release gates运行中。费用补测已覆盖已结算usage近上限、重复回执不重复收费、子任务与收尾预留不足时不创建child。

    发布流程：PR release gates→审查→普通合并→精确main release gates→v3.5.2既有tag publish→产品root/server双锁精确安装与owning/browser回归。没有新凭据、扩权、vendoring或私有API。

    产品 PR174 #174 新增 [skip deploy] 合并标记：保留正常CI及不可变镜像发布，阻止manifest promotion、Cloudflare deploy和Komodo rollout。实际workflow条件测试先红后绿18/18。该PR将带此标记合并，不修改生产配置。3.5.1产品终态回归已红：expected model_unavailable / actual execution_failed，发布后必须转绿。

    真实provider/计费和生产隔离仍单独未验证；取消部署不等于这些验收通过。

  11. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    上游 PR26 合并前报告：最终 HEAD b95528cc5667e6d70a8ac33c98852ed52d97a363；release gates https://github.com/LingXi-Org/LingxiOS/actions/runs/39014122563 完整成功，421 tests、0 failures、0 skips，含实际分进程崩溃/恢复、PostgreSQL、workspace/capacity及受限Linux镜像检查。审查总deadline/预算分类、结算顺序、取消、embedding凭据熔断/固定向量空间与脱敏边界，无阻塞项。本地420项+独立安装重跑1项通过；最初安装失败是不可写/未预热npm缓存，已保留失败记录。

    计划普通合并后等待精确main release gates，再推送匹配v3.5.2 tag使用既有发布workflow（schema12不变）。不触发产品部署、不新建凭据/扩权。产品PR174保留3.5.1红回归，须升级精确包后CI+owning/browser转绿再带[skip deploy]合并。真实provider和本执行器生产Worker隔离仍未验证。

  12. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    父任务即时状态（07:43 UTC）：执行器可用。soak 本地心跳07:41:53 UTC，60 samples、3545秒、0 violations，monitor285092/watcher298179存活；远端初始检查点06:52:53，下次小时推送尚未到点。已发现并修复外层模型超时分类和embedding错误分类/凭据熔断；LingxiOS PR26已合并de5dca9，PR gates 421/421通过，精确main gates39014426208仍在运行。正在补结算延迟下保留先触发deadline原因的回归（先红，修复中）；3.5.2尚未发布。产品PR174新回归在3.5.1真实复现 execution_failed vs model_unavailable，独立npm ci已成功，等精确发布包后转绿。

    刚出现执行器gh身份401 Bad credentials；已连接GitHub工具的只读查询成功，可继续使用现有连接，不新建凭据/扩权。本地修复/测试继续。无需部署已落实：停止Komodo排查与生产操作，PR174引入并验证[skip deploy]标记，保留CI而禁止promotion/deploy/rollout。

  13. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    即时补充：执行器默认gh身份失效，但已注入的NODE_AUTH_TOKEN既有身份对本仓库只读查询及正常包安装成功，git push也成功；没有创建新token或扩权。后续gh命令仅在子进程使用该既有身份，已连接GitHub工具亦可用。PR27 LingXi-Org/LingxiOS#27 已创建，修复结算延迟下截止原因覆盖，5项定向测试通过；PR26精确main gates39014426208已成功，但3.5.2尚未发布，等待PR27完整门禁。

    为避免24h结束时默认gh身份过期导致评论丢失，仅重启了证据watcher以使用同一已授权身份；soak monitor PID285092完全未重启，原起止时间/连续性保持。新watcher会立即推送当前检查点。没有任何生产部署或探测。

  14. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    开发继续、部署保持取消。上游 PR27 最终 HEAD 8aa44a22d83923630bc8fa7e5480e191a19ea8c9；release-gates 39014744964 全部成功，422 tests / 422 pass / 0 fail / 0 skip，包含 PostgreSQL、分进程恢复、容量/工作区以及 confined Linux image。复查无剩余代码阻塞；补充了慢账本结算保留首次截止原因及本地执行预算上限回归。

    接下来普通合并 PR27，等待合并提交的 main release-gates，再以既有 v3.5.2 tag/publish-package 流程发布 3.5.2/schema12；不创建凭据、不扩权、不操作生产。产品 PR174 当前仍锁 3.5.1，新增真实公开包集成回归按预期失败，待正式 3.5.2 发布后升级双 manifest/lock、复测再合并，合并标题保留 [skip deploy]。

    未验收边界仍明确保留：真实 provider/账单、当前受限执行器的生产 Worker 隔离，以及未到期的 24h soak。原 3.5.1 Web/API soak 不重启、不改报为新包资格。

  15. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    准备发布 @lyyzka/lingxios 3.5.2 / schema12。上游 PR27 已普通合并，main=e09fc03437804ec80bc2f6d6b3258dc3e2f35540；该精确提交的 release-gates39015169232 成功，422/422、0失败/跳过，confined Worker image、PostgreSQL 与分进程恢复门禁全部通过。审查无代码阻塞。

    使用仓库既有流程：在此 main 提交创建 v3.5.2 标签 → publish-package 再校验相同提交的 main gates → 既有 GitHub Packages 权限发布 → 产品精确安装并验证公开 exports 与双锁文件。没有新凭据/扩权，没有生产部署或服务探测。公开包安装和产品回归尚待完成；真实 provider/费用与当前云执行器生产 Worker 隔离仍未验收。

  16. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    最终合并前报告：产品 PR174 HEAD faea44a，普通合并可用（CLEAN/MERGEABLE），CI39015882081 全部所需作业成功。

    • Web88/88、server106/106、control13/13、admin8/8、部署契约18/18、selector2/2；Web/Admin构建及类型/lint门禁通过。
    • 完整integration：245通过、0失败、21前置条件跳过，不把266统称全过。
    • 3.5.2本地owning integration17通过；通用入口跳过的真实IM回执用专用runner补验20/20。官方browser11/11零跳过，20截图/11视频/50文件SHA256证据已入PR。
    • 复核公开包接线、双锁integrity、总deadline→持久终态/ledger/下一请求、部署条件和证据脱敏，未发现剩余代码阻塞。上游main e09fc034…的完整release gate及正式发布均422/422。

    未验收项：受控真实provider与费用、当前受限云执行器的生产Worker隔离、3.5.2完整SPA复验，以及仍在运行的原3.5.1 Web/API24h soak。没有将这些边界写成已通过；153/155/157/161仍开放。

    现在按用户已授权普通合并，不使用admin/保护绕过；明确合并标题 [skip deploy]。后续只核对main CI/不可变镜像发布及生产相关三个job确实SKIPPED，不探测Komodo、不更新生产manifest、不部署。原monitor285092/watcher363050继续运行，最早2026-10-18T06:42:47.901Z到期，06:50UTC独立复查仍启用。

  17. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    PR174已通过普通merge合并，main ba90149；提交标题包含[skip deploy]。PR最终CI39015882081通过（完整integration245通过/21前置条件跳过/0失败），本地官方browser11/11、真实WuKong20/20；main证据目录。

    合并后main CI39016358468正在运行，将继续核对不可变镜像发布与update-manifests/deploy/rollout三项跳过状态。没有操作生产、没有Komodo探测。

    原3.5.1 Web/API soak未重启：monitor285092、watcher363050仍运行，当前88采样/约87分钟/零violations；已停止完成任务的浏览器夹具进程，不影响soak依赖。最早2026-10-18T06:42:47.901Z结束，06:50UTC独立公开证据复查已确认启用。外部验收边界及153/155/157/161开放状态不变。

  18. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    本轮开发交付完成并普通合并，未绕过保护：

    • 产品PR174 → main ba90149；此前PR164–173均已合并。没有开放开发PR。
    • 上游PR24–27均合并，当前main e09fc03437804ec80bc2f6d6b3258dc3e2f35540；3.5.2/schema12正式发布并由产品根目录/server双manifest+lock精确消费，迁移仍0043。
    • PR最终CI39015882081 和 main CI39016358468 均成功。main：Web88、server106、control13、admin8、部署契约18、selector2全部通过；完整integration245通过/0失败/21前置条件跳过。
    • 本地3.5.2官方browser11/11零跳过、真实WuKong20/20、定向runtime17通过；通用入口跳过的真实IM用专用runner补验。上游完整release/publish各422/422。
    • 自动server不可变镜像发布作业成功；update-manifests / deploy / rollout全部SKIPPED，符合合并标题[skip deploy]。没有生产部署或Komodo探测。当前CLI未能下载含slash名称的image job日志，不据此编造镜像digest；发布成功以Actions作业回执为证。

    不可变提交上的证据、复现命令、计数、截图、视频与SHA256 manifest。最终差异及公开API/授权/ledger/终态/双锁/工作流条件已复核，无剩余代码阻塞。

    仍开放153/155/157/161是验收边界：真实provider与费用、当前受限执行器的生产Worker隔离、3.5.2完整SPA复验、以及未到期24h soak；没有把合并或关闭issue当成这些验收通过。部署已移出范围，不是开发阻塞。

    原3.5.1 Web/API soak连续运行，未重启monitor：PID285092；证据watcher PID363050。08:22:56UTC状态为101采样/6008.7秒/零violations。状态 /workspace/LingxiLoop-acceptance/.e2e/image-acceptance/soak/state.json，日志 /tmp/acceptance-soak.log、/tmp/acceptance-soak-watch.log；远端小时/终态证据分支。最早 2026-10-18T06:42:47.901Z 到期，06:50UTC独立复查已启用。必须见到终态回执、86400秒、连续心跳和零违规才可通过；缺失/陈旧即未完成。监测/上传进程和其依赖服务保持运行；已完成的浏览器夹具已停止。

  19. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    3.5.2 SPA补验合并前报告：PR175最终HEAD 9499e62；CI39018356165 成功，CLEAN/MERGEABLE。此PR只有验收夹具/证据，CI实际运行changes，checks/integration/publish及部署按路径SKIPPED，不把跳过说成执行了浏览器。

    云环境实际owning验证：完整React SPA6/6、零失败/重试/跳过；隔离保护2/2（先红后绿）、既有fixture-safety3/3、E2E类型检查及全新构建通过。13截图、6视频、真实消息计数、Web生命周期、构建hash与37文件manifest已保留。逐项验收映射与证据。

    复核153/155/157/161未发现额外产品/runtime代码缺口。可独立完成的会话/发送/网络/DB/Web故障SPA已跑完。完整Worker所需相同bwrap预检：当前执行器uid-map只读，独立容器不能创建namespace，均exit1；未扩权。真实provider/prices环境五项均未提供，只记录存在性、不输出值。剩余是合格Worker/授权provider和价格/完整观察时窗；3.5.2耐久未验证，不用旧soak替代。

    原3.5.1 soak monitor285092、watcher363050保持运行且候选镜像restart0、原起始时间不变。新SPA独立服务已清理。既有名为“LingxiLoop soak复查”的单次任务已确认启用，2026-10-18 06:50UTC读取公开远端回执/心跳；没有重复创建，任务标识已在私有交接中提供。

    现按原授权普通合并PR175，明确使用[skip deploy]；不部署、不探测Komodo、不改生产安全配置。

  20. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    3.5.2的完整SPA会话/人类消息恢复补验已完成：PR175已普通合并到main 06ba56169ae8796bf6e067f4eecca0064145a816，6/6、零失败/重试/跳过。真实新建的独立PG/Redis/WuKong/存储与Web/control/D1覆盖了session恢复/过期、网络中断、PG暂停、Web重启及两种401发送竞态；老发送不越权重放，后续发送一次持久落库。保留13截图/6视频及实际计数。证据与逐项验收映射。

    对153/155/157/161的复查未发现新增产品/runtime代码缺口，当前新增仅隔离夹具及证据。完整Worker预检仍有明确环境失败：宿主setting up uid map: Read-only file system，独立默认安全配置容器No permissions to create new namespace，均exit1；未扩权。受控真实provider/价格配置未提供。完整Worker/真实provider及费用/完整观察时窗仍属外部验收条件，保持issue开放。

    这次通过的是3.5.2完整SPA登录后会话/消息链路，不包括captcha登录、模型辅助完整Worker对话或3.5.2耐久验证。原3.5.1 Web/API soak未动、未改版本标签；既有06:50UTC独立复查任务已经核验启用，没有重复安排。部署继续排除。

  21. lyyzka commented on Oct 17, 2026

    @lyyzka
    lyyzka
    on Oct 17, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    生产交付准入补充（合并前报告）：PR176最终HEAD 950adc0d32fcc79faf0f8765d9d1139919b918a4，只修改发布烟测、CI接线和准入证据；没有修改产品/runtime逻辑。修复公开runtime版本断言并保留SHA、租户和认证WebSocket检查；不输出HTTP错误响应正文。已审查最终差异，无新增阻塞性代码问题。

    本地：完整SPA6/6（PR175证据）、本次部署/烟测契约22/22、6份Compose配置通过。最终PR CI SUCCESS，见 https://github.com/LingXi-Org/LingxiLoop/actions/runs/39019058123 ，实际执行部署契约，integration按作用域跳过。将以普通合并和[skip deploy]交付准入修复，不绕过分支保护。

    用户已追加生产部署授权；当前执行器尚无Sigillo/km或Komodo API/webhook注入，也无现有认证烟测会话。认证txy3资源核验、生产schema/排空/备份复核和正式rollout尚未执行。公开生产仍是9332947e / LingxiOS3.4.7 schema11，health/dependencies为200。请恢复既有云端身份注入（不创建凭据、不在聊天发送秘密）；我继续统一负责正式发布，避免其他线程重复触发。

    原3.5.1 soak及既有独立复查保持不变。3.5.2完整Worker/真实provider/耐久验证未冒充通过。详细准入证据：docs/evidence/production-admission-20261017/。

  22. lyyzka commented on Oct 19, 2026

    @lyyzka
    lyyzka
    on Oct 19, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    本轮继续验收。现有生产运维访问已重新核验可用，部署配置校验完成；当前服务可用不等于耐久验收通过。只读观察仍发现与本 issue 相关的稳定性问题，正在进行专项诊断，因此保持开放。PR185 是独立的失败启动资源清理修复，不能代替长期内存/连接稳定性验收。历史 3.5.1 Web/API soak 无终态回执，仍标为未完成；后续验证将按新版本单独记录，不覆盖旧证据。普通合并及正常部署已获本轮授权，长测不阻塞其他已通过发布门禁的改进上线。

  23. lyyzka commented on Oct 19, 2026

    @lyyzka
    lyyzka
    on Oct 19, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    阶段进度：已在生产同版 Node 22.23.3 上用合成操作复现长期 AbortSignal 组合的注册保留，并在上游 PR28 修复明确的操作释放边界。上游精确提交完整CI与430/430本地测试通过，已合并，等待与输入等待修复一起发布正式3.5.3。该修复与加速回归不构成生产耐久通过。原3.5.1观察仍明确未完成；新版本将有独立run/version/image/scope与远端回执，绝不覆盖旧证据。

  24. lyyzka commented on Oct 19, 2026

    @lyyzka
    lyyzka
    on Oct 19, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    阶段更新：正式 LingxiOS 3.5.3（含 Node22 AbortSignal 监听清理修复）已随 PR194 / 成功发布流程 上线，实际版本和 readiness 已核验。独立 SQL/HTTP 保留机制回归证明该修复有效，但不能由此认定所有历史内存问题都已解释或长期耐久通过。

    本次新测试使用产品 b76c4cc0 的最终不可变镜像，范围为隔离 Web+Worker idle。新的独立 60 秒烟测通过；另一个全新环境的 24 小时运行于 2026-10-19 11:47:53 UTC 开始，最早次日同刻完成。新运行远端证据已有初始/运行回执，当前没有合格终态，仍未通过24小时验收。首轮烟测的 harness 健康路径错误和失败回执保留，未复用为正式样本。已建立外部回执追踪；消失、陈旧心跳或缺终态一律不算通过。

    旧3.5.1的797样本、47829.58秒保持未完成，不覆盖、不转记到3.5.3。本 issue 保持开放：新版本完整耐久结果以及实际负载/Worker–SPA故障恢复边界仍待验收。

  25. lyyzka commented on Oct 20, 2026

    @lyyzka
    lyyzka
    on Oct 20, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    2026-10-20 基础验收中发现一项需要补修的 P2，当前继续保持开放。

    在当前 main e7422872 / 正式 LingxiOS 3.5.5 上，产品 recordModelCall 未使用公开 DeliveryContext 的截止/取消信号；终态投递的部分授权/回执查询也直接借用主连接池。runtime 的投递超时会结束回调等待，却不会自动取消这些产品 SQL。它们仍有每语句 60 秒兜底，不能称为无限等待；但内部后台并发上限不覆盖这些产品回调。

    短探针使用隔离的合成 PostgreSQL 协议服务和真实 pg 客户端：4 个账本回调与 4 个终态回调已进入查询后取消，30ms 后仍为 active=8、foreground waiting=1、settled callbacks=0；只有夹具返回查询结果后才释放。这是可复现的基础资源边界缺口，不是生产锁事故或长期内存泄漏证明，不能用本轮取消长测来豁免。

    独立分支 codex/issue153-callback-deadlines 正补共享后台准入、真实 SQL 取消和连接释放的短回归及最小修复。会保留授权、固定账本 callId/消息 nonce、未知写入结果核对和幂等恢复，不通过提高连接池或吞掉错误来通过验收。未做生产故障注入或修改生产数据/凭据/安全设置；固定暂停的 3.5.3 观察保持不动。

  26. lyyzka commented on Oct 20, 2026

    @lyyzka
    lyyzka
    on Oct 20, 2026 – with ChatGPT Codex Connector
    ContributorAuthor

    按用户2026-10-20最新范围，基础能力、必要短测、独立审查与上线已完成，验收关闭。

    后台资源与前台连接预算的基础能力已完成。PR209进一步修复产品usage/result/terminal回调忽略取消的问题，并透传正式runtime公开操作上下文，限制回调并发、SQL剩余截止时间和服务端断线检测。未增大数据库池或内存配额。

    • PR208：readiness依赖pending I/O、24并发探测、Redis断连与PG池饱和恢复短测7/7；三组3秒采样仅证明采样链路，不当作延迟SLO。
    • PR209：正式3.5.6下回调scope9/9、delivery6/6（含真实runtime联通2例）、owning可靠性3/3、server106/106；原8回调占满8槽，修复共享准入限2。实际PG查询退出、前台SELECT和同runtime下一turn通过。

    生产已由正常 CI/CD 发布：source 554e81ac7fc59984d069a104d555adbf48092411，正式 runtime 3.5.6；精确 main CI/CD成功。Komodo 实际聚合回执为 Complete / success:true；四个 API/Worker 容器均为该 source 的同一已发布镜像、健康，当前 Docker OOMKilled=false 且 restartCount=0，两个同镜像迁移容器 exit 0，两轮 HTTPS 就绪/版本检查通过。镜像 manifest list sha256:ed3088feac9dacbfe6b639b6d6edd7b0b2c53a2b3ab58740a20f8b76e23aed56。产品迁移46/runtime schema12未新增；本轮没有重新通过直连SQL读取schema/lease，不能把迁移exit回执称为该项验证。

    交付：回调证据 · PR207 · PR208 · PR209 · PR211 · 上游PR32。

    未验证范围：24小时/长期负载、完整堆保留对象profile、生产真实模型对话P95/P99及未来不会再OOM的保证未验证。 固定暂停3.5.3观察与自动核验未触碰；未做生产故障注入、真实provider调用或凭据/安全配置变更。旧文中的长期/完整矩阵复选框保留作为历史边界，不标为通过。

  27. lyyzka
    closed this as completedon Oct 20, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions