Skip to content

feat: add deterministic normalized v3 and fail-closed L2 capture - #6

Merged
PureSaber merged 16 commits into
mainfrom
codex/cross-asset-v2-m7-data-performance
Aug 30, 2026
Merged

feat: add deterministic normalized v3 and fail-closed L2 capture#6
PureSaber merged 16 commits into
mainfrom
codex/cross-asset-v2-m7-data-performance

Conversation

@PureSaber

@PureSaber PureSaber commented Aug 29, 2026

Copy link
Copy Markdown
Owner

当前结论

  • 软件、fixture和本机性能门禁:PASS / INDEPENDENTLY VALIDATED
  • 公共Binance/OKX网络采集:NOT RUN / CAPACITY BLOCKED
  • 连续30天、归档恢复和market-data认证:NOT COMPLETE
  • PR保持OPEN、未合并、未打tag;不发送订单、不使用交易密钥。

候选与契约影响

  • 源码提交:13e004a80296bb3a49c4bd54e64cb64670e56b01
  • 证据HEAD:5b15c2c26a5a2f2b125e912d7f9412caf477b31c
  • 包版本:0.7.4
  • 冻结8条流:Binance/OKX、BTC/ETH现货及USDT线性永续。
  • 保留Normalized v3、不可变Raw/Normalized/archive、严格reload、PIT/L2和容量守卫契约。
  • journal→snapshot恢复会从sealed journal重算分区集合、每分区行数、规范行摘要、available_at上界及最终L2 checkpoint,拒绝仅行数/Raw血缘相同但内容不同的替代快照。
  • PREPARED、COMMITTED、显式ABORTED和failure采用闭合字段集合、严格非强制转换类型及精确内容寻址文件名。
  • 历史失败证据不改写;v5仅升级当前候选结论。

迁移与回滚

  • 变更不改写旧tag、历史Raw/Normalized或历史性能产物。
  • 无数据库迁移、无真实订单路径、无自动清理。
  • 回滚方式:Git revert源码提交和证据提交;历史证据继续保留。

质量与正确性

  • pip check、Ruff检查和格式检查全部PASS。
  • pytest:431 passed、1个既有Windows/POSIX符号链接skip、0 failed。
  • 全源码纯分支覆盖率:2217/2546=87.08%
  • 全部17个配置核心模块纯分支覆盖率≥90%;epoch.py=251/276=90.94%
  • 真实Windows spawn+os._exit(87)、bootstrap lock junction防护和独立stream anchor均通过。
  • v5的17/17个artifact文件名SHA-256、实际SHA-256、字节数及内部报告哈希经独立复算一致。

性能证据

8流fixture

  • Dense三轮:310.60/299.17/309.99messages/s,p99为37.73/36.54/36.97ms。
  • Sparse三轮:575.18/578.13/573.59messages/s,p99为15.97/15.45/15.17ms。
  • 六轮均通过Raw、Normalized、archive、restore-hash、完整收尾和密度安全倍数门禁。

3×1000万

  • 吞吐:188,411.35、188,473.94、182,097.14events/s。
  • 峰值内存:3.112、3.105、3.136GiB。
  • 每轮1000万全部接收、0隔离、严格重载和跨轮确定性通过。
  • 正式产物共保留3,310,487,778字节,未自动清理。

容量与网络边界

  • 安装后的qdk-capture.exepreflight和显式run --confirm-long-running下均退出码2。
  • 两次均为PAUSED_PREFLIGHT_FAILED;8流全部0WebSocket、0Raw、0Normalized,network_started=false
  • 当前容量不足以满足150GiB预留和卷安全门限,因此不得启动公共网络和长期采集。

独立验证与CI

  • 独立只读验证:PASS,P1=0、P2=0、无新增P3代码缺陷。
  • 精确HEAD CI:GitHub Actions运行33315502321
  • Python3.10、3.11、3.12均SUCCESS,headSha=5b15c2c26a5a2f2b125e912d7f9412caf477b31c
  • v5证据:validation/m7-capture-remediation-v5/evidence-manifest.jsonsummary.mdtechnical-handoff.md

明确未完成

  • 公共Binance/OKX真实TLS消息、重连/重同步和真实盘口质量。
  • 8流连续30天采集、独立归档恢复演练和跨源质量认证。
  • 国内合法L2市场数据认证。
  • market_data_certified=false;不得据此发布v2.0 GA

@PureSaber PureSaber changed the title feat: add deterministic normalized v3 data path feat: add deterministic normalized v3 and fail-closed L2 capture Aug 30, 2026
@PureSaber
PureSaber merged commit 554bdb4 into main Aug 30, 2026
3 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants