Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
6 changes: 6 additions & 0 deletions CHANGELOG.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,12 @@

## [Unreleased]

### 线性注意力机制精读与通俗拆解入库:新开 model-architecture 分组(250,2026-10-30)

- 新增 [250 精读](docs/research/model-architecture/250-linear-attention-kda.md)(腾讯技术工程《AI Infra进阶:3万字深入理解线性注意力机制》2026-10-29 全文 + Kimi Linear/GDN/DeltaNet 并行化/vLLM 文档/FWP 等 10 个一手信源逐条对账,Devil 论文 ID 勘误 2209.07482→2210.10340):KV Cache 三重代价 → 门控演进链(每加一个门治一种病:β 治叠账、标量 α 治不淡出、对角 α 治同速遗忘)→ chunk-wise 两级并行(块间仿射 scan + 块内 WY 下三角一次解出)→ hybrid 3:1 兜底与 vLLM v0.32.0 落地三件事(page 对齐 640/前缀缓存块边界/推测解码回退一块);五规律三争议,字数门 6000 内(5993)。
- 新开 `docs/research/model-architecture/` 分组(_category_.json position 11);配套纯标准库原型 [linear_attention_lab.py](docs/research/model-architecture/assets/linear_attention_lab.py)(17 断言全绿:KDA/DeltaNet/GDN 顺序 vs chunk-wise 最大偏差 4.4e-16;D1–D5 破坏实验实测退化);两张 archify 图四件套入库(`kda--evolution-ladder` workflow、`kda--chunkwise-two-level` dataflow,finalize 四门回执齐)。
- 登记面:research readme 第十一节、knowledge-map Research 节、mermaid README model-architecture 分节、issue I-242。

### Automating ML for Science(Agent4Sci)精读与通俗拆解入库(agent-harness 181,2026-10-29)

- 新增 [181 精读](docs/research/agent-harness/181-agent4sci-scientific-hills.md):arXiv:2610.28763v1 首读(2026-10-20,Anthropic Fellows Program,arXiv perpetual non-exclusive)——20 个已发表科学 ML 基准的长时程爬坡测试台:裸仓库试点 12 任务 5 作弊(四类)催生「标准化+三阶段协议」(封存测试集/独立评测/轨迹审计,120 对三家族审计全一致);四前沿 agent 全基准全自动改进(Opus +10.4%)但增益以通用工程招式为主(run 方差分层 σ=1.5 vs 19.6、HPO-only 只回收小部分);三缺陷三技能近翻倍(10.4→20.1,PFDelta 64.4→91.0 物理洞见);三天长跑反例(洞见门控不随时间来、CarbonGlobe 过拟 −25%);五规律三争议五批判边界。
Expand Down
18 changes: 18 additions & 0 deletions docs/.agents/issue.md
Original file line number Diff line number Diff line change
Expand Up @@ -247,6 +247,7 @@
| I-239 | agent-harness 178 DSA 精读入库:三源首读(repo@4e622643 + 站点 + 论文)+ 五机制原型 + 双 archify 图 + 信源原图 5 张(含交付后增补 4 张批次) | ✅ 已完成 | 2026-10-27 | [详情](#I-239) |
| I-240 | Dependabot 54 条批量处置:backend 11 包收敛升级(mcp 上界防 2.x)+ katex 0.18 override(rehype-katex 卡 ^0.16)+ fast-uri 全仓 override(根 + 15 分集)+ perceives 七包防 CI 红头 + dismiss 2 条有据告警 | ✅ 已完成 | 2026-10-28 | [详情](#I-240) |
| I-241 | agent-harness 181 Agent4Sci 精读入库:信源 URL 伪报核验 + 四原图管线 + 首个「评测协议型」精读 | ✅ 已完成 | 2026-10-29 | [详情](#I-241) |
| I-242 | model-architecture 250 线性注意力精读入库:微信 3 万字长文 + 10 信源对账 + KDA/DeltaNet/GDN 原型(顺序 vs 分块 4.4e-16)+ 双 archify 图 + 新开分组 | ✅ 已完成 | 2026-10-30 | [详情](#I-242) |

---

Expand Down Expand Up @@ -5736,3 +5737,20 @@ R7 后浏览器对照 Section 2.1 区域发现两类正交缺陷:
- **后续防范**:arXiv 类信源入库前一律先核官方 citation 元数据(标题/作者/版本)再采信全文抓取结果;对账摘录一律以快照字节级片段为准,不从记忆复写。
- **同类问题影响**:所有经 MCP 抓取通道的论文精读(guided-learn 各篇);机器对账门禁在快照含宏残留时的 bash/awk 命中判定。
- **注意事项**:webReader 通道不可作为唯一事实源;降采样只改分辨率不改内容,登记表须注明处理方式。

<a id="I-242"></a>
## I-242:model-architecture 250 线性注意力精读入库(新开分组)

**问题描述**:腾讯技术工程《AI Infra进阶:3万字深入理解线性注意力机制》(2026-10-29)需精读入库:机制密度高(公式 190+ 条内嵌图片 alt、21 配图为懒加载 blob 不可取)、仓库无任何线性注意力既有笔记(需新开分组)、字数门 6000 硬约束。

**表因**:微信公式以图片内嵌且配图不可下载,公式保真与图例保留两难;vLLM/模型表细节全部出自单信源转述,有失真风险。

**根因**:公众号载体把公式当图片、把配图挂懒加载 blob,文本通道天然残缺;产业现状类论断(模型配比/引擎行为)只有厂商一手可核。

**处理方式**:① 公式走「curl 原始 HTML → awk 转写时内嵌 img alt」通道,182 条 LaTeX 完整复原,KaTeX 重排 14 条 display 入正文;② 关键机制改自绘 archify 两图(演进阶梯 workflow + chunk-wise dataflow,finalize 四门全过);③ Workflow 并行派 6 路信源 reader 通读/锚点级对账(Kimi Linear/GDN/DeltaNet/vLLM/FWP/经典组),勘误 Devil 论文 ID(2209.07482→2210.10340)并钉死 hybrid 实为 3:1 配比;④ 纯标准库原型 17 断言(KDA/DeltaNet/GDN 顺序 vs chunk-wise 最大偏差 4.4e-16)+ D1–D5 破坏实验;⑤ 新开 docs/research/model-architecture/ 分组(250 起编号),登记面四处 + CHANGELOG。

**后续防范**:公众号类信源一律先 curl 原始 HTML 提 img alt 再谈公式保真;reader 回传的 sha256 必须实测复核(本次 3/6 被截断重建);「配比」类数字以一手论文核对后才可入正文。

**同类问题影响**:后续公众号/图片型公式信源精读(对照 014/181 的 source-figures 管线,本篇是「公式不可取型」的新形态);archify dataflow 节点上下同列叠放时反馈边几何不可行——砍边改 tag+卡片承载语义(K₂,₂ 判例复用)。

**注意事项**:250 是 model-architecture 分组首篇;lab 字数门沿用 179 的 count_words(上限 6000)。
1 change: 1 addition & 0 deletions docs/.agents/knowledge-map.md
Original file line number Diff line number Diff line change
Expand Up @@ -102,3 +102,4 @@
- [Apple Watch Ultra 4 换货开箱视频项目(influence/live/apple-watch-ultra-4-unboxing)](../../apps/negentropy-influence/live/apple-watch-ultra-4-unboxing/README.md) — **influence 工作区 `live/`(真人实拍项目区)首个项目**(2026-10-10 文字包 v1):借用 vibe-video ①–⑥ 文字阶段契约(取证底账/策划/逐字稿 SSOT/四级校验/成文优化/分镜六列)移植到实拍制片,生产层换为 A 档 iPhone 三机位 + 多日日程(Day0 首拆一次性镜头链 / Day1–4 使用日记 / DayN 收尾);分级归因红线(重启=watchOS 27.0 已知已修、掉线=个案)与两段式 ⟨TBD⟩ 定稿点为其真实性核心机制(v2.3 用户校准:换货为同款零售彩盒、官网 14 天退换期);与 episodes/ 的 Remotion 动画集平级共处、不登记 series.json(实拍片不走 TTS/Remotion/骨架门,check_series 仍扫其死链)
- [精读:Harness 到 Harness²(179)](../research/agent-harness/179-harness-to-harness2.md) — Harness-Zero(arXiv:2609.24974v1)× Harness²(arXiv:2610.14224v1)双源首读(互不引用、作者零交集、非换代,互补路线对照轴精讲):P1 agent-as-harness 审阅门(pass/replace 最小改动 + 学生第一人称 + 特权只限读 K)→ SFT 蒸馏进权重、部署卸载(9B 三臂 23.3 < 41.7 < 44.3;监督源消融 K 30 vs oracle 答案 15 vs teacher+h\* 错配 3——采集分≠蒸馏价值;28 模式恢复 82.3%、弱模型审阅反噬 −12.0);P2 八组件文件化 harness + 对比式 Propose–Probe–Compose(只比不判、证据锚定组合)+ 并行/串行递归与带保留门的改进库(下题从 H₀ 重开、库选择性改编;单步最高 +11.5、递归再涨、去库 −3.1、跨模型迁移 GLM-5 Code +17.3、胜生产 harness +4.6~5.8);两篇公式链逐条白话、五条规律(资产位置/对比监督/示范可达性/经验保留门/表达边界)三个争议与批判边界(均无独立复现、LLM judge 噪声未量化、组合未实验);4 张论文原图(CC BY 4.0,TeX 源码包矢量渲染入 source-figures);配套原型 [harness2_lab.py](../research/agent-harness/assets/harness2_lab.py)(纯标准库确定性,五组破坏实验:D1 恒放行恢复率归零 / D3 盲判分增益噪声化 / D5 无库失去跨任务反哺档)
- [精读:Automating ML for Science(Agent4Sci)·181](../research/agent-harness/181-agent4sci-scientific-hills.md) — arXiv:2610.28763v1 首读(2026-10-20,Anthropic Fellows Program,arXiv perpetual non-exclusive):20 个已发表科学 ML 基准的长时程爬坡测试台——裸仓库试点 12 任务 5 作弊(选择性汇报/测试集污染/指标操纵/硬编码四类)催生「标准化+三阶段协议」(封存测试集、双容器隔离、独立评测算分、轨迹审计;120 对三家族审计全一致);四前沿 agent 全基准全自动改进(Opus +10.4% 领跑、Sonnet 9.6 却 9/20 基准最佳、Gemini 指令失败不罚口径自述偏高)但增益以通用工程招式为主(词云+频次:Opus 56% 调参 44% 架构;run 方差分层:工程型 σ=1.5、洞见型 σ=19.6;HPO-only 只回收小部分);行为三分(全程迭代/提交等待/摇摆)与三缺陷(新颖性失准/资源闲置/探索塌缩)→ 三张 markdown 插件技能近翻倍(10.4→20.1、4.4→8.1;PFDelta 64.4→91.0=PBL 自监督主损失+GNN 温启动牛顿法;CarbonGlobe 49→<6 GPU 时且推理 ~500×);三天长跑反例:洞见门控不随时间来(Codex PFDelta 2000 −99.5% vs CarbonGlobe 集成过拟测试 −25%);五规律(先封缝再测量/分数看成分表/行为剖面即指纹/对症脚手架杠杆/洞见门控)三争议(LLM 审 LLM 循环性/工程洞见分界/窄工况代表性)五批判边界;配套 [agent4sci_lab.py](../research/agent-harness/assets/agent4sci_lab.py)(15 断言 selftest + E1–E5 破坏实验:去封存作弊 Δ% [0,0,0,0]→[0,+31,0,+31] 等)+ 4 张论文原图(source-figures,降采样不改内容)
- [精读:线性注意力机制(250)](../research/model-architecture/250-linear-attention-kda.md) — 腾讯技术工程《AI Infra进阶:3万字深入理解线性注意力机制》(2026-10-29,微信)全文精读 + 10 个一手信源对账(Kimi Linear arXiv:2510.26692v2/GDN 2412.06464v3/DeltaNet 并行化 2406.06484v6/vLLM v0.32.0 文档/FWP 2102.11174v3 通读,TARR/Devil/GLA/Marconi/ReplaySSM 锚点;Devil 正确 ID 勘误为 2210.10340):KV Cache 三重代价(显存/带宽/计算线性增长)→ 三路线(稀疏 DSA/压缩 MLA/线性)→ 门控演进链(Linear 2020 叠账 → +短卷积去分母 → DeltaNet 写入门 β 先查旧账只写差额 → GDN 标量遗忘门 → KDA 按通道对角遗忘;训练视角统一解释 β=学习率、α=1−ηλ=权重衰减、delta=残差梯度一步)→ chunk-wise 两级并行(块间仿射 scan + 块内 WY 下三角系统,精确重写无近似)→ 固定容量 hybrid 3:1(K3 69 KDA+24 MLA/GLM-5.3-Flash 34 KDA+11 DSA/Qwen3.8 系 GDN 混合)与 vLLM 落地(state 542,720B 对齐 block 640、[9,9,8,8] 分组、前缀缓存块边界 align、EAGLE 无条件回退一块);五规律(代数结构定并行上限/门控=在线学习组件/固定容量必混叠/稳定件伴生/算法形态定显存管理)三争议(遗忘粒度/NoPE vs RoPE/线性状态前缀缓存三路线);配套 linear_attention_lab.py(17 断言:KDA/DeltaNet/GDN 顺序 vs 分块偏差 4.4e-16;D1–D5 破坏实验)与两张 archify 图(kda--evolution-ladder、kda--chunkwise-two-level);字数门 6000(5993)
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading