| title | 学习路线与知识地图 | ||
|---|---|---|---|
| description | 按原理、训练、系统或 Agent 的问题选择阅读路径，并把各部分连接起来。 | ||
| tags |
|
这套笔记围绕一个共同问题展开：怎样把数据变成一个能可靠完成任务的系统？ 五个领域是观察同一系统的不同角度，不是五套互不相干的技术名词。
已有深度学习基础、准备研究或技术求职时，直接使用 研究与求职路线：其中按技术范围列出推导、实现和实验追问，并连接各层深入专题。可运行代码统一见 研究实验集。
| 层次 | 输入 → 输出 | 核心问题 | 入口 |
|---|---|---|---|
| 模型基础 | token → 表示与概率 | 网络怎样表达、计算与泛化？ | 基础 |
| 训练 | 数据与反馈 → 参数 | 怎样形成知识、能力与行为？ | 训练 |
| 推理 | prompt 与参数 → 输出 | 怎样控制生成并提高效率？ | 推理 |
| Infra | 硬件与软件 → 可用服务 | 怎样分布式执行、测量与恢复？ | Infra |
| Agent | 目标与观测 → 行动与结果 | 怎样把模型接入真实任务？ | Agent |
例如，用户说“查询这台设备的温度并写维修建议”。模型负责理解并生成，工具负责读取实际状态，运行时保存执行过程；如果模型需要领域适配，训练负责更新参数；推理与 Infra 则决定响应速度和可靠性。把一个环节的改进归因于另一个环节，是很多技术讨论混乱的根源。
适合有基础编程经验、希望真正理解论文和实现的读者。
- 语言模型 → 必要数学：先理解概率、损失和梯度。
- 分词 → Transformer：把符号与张量连起来。
- Attention → 位置编码 → 网络组件：推导一个 block。
- 预训练 → SFT → 偏好优化：理解能力与行为怎样形成。
- KV Cache → Agent 架构：从网络进入运行系统。
阶段自测：不看笔记，解释“训练为什么能并行，生成为什么通常自回归”；手算一个两项注意力；估算一个指定配置的 KV Cache。如果无法说明公式变量，就回到对应页面，而不是继续背更多缩写。
适合已有神经网络基础、希望理解训练方法选择的读者。
数据 → 预训练与 scaling → 优化 → SFT → LoRA / QLoRA → RL 基础 → 奖励与 DPO → PPO → GRPO / RLVR → 蒸馏 → 训练评测。
实践目标：用同一组任务比较不同方法，而不是把多个训练阶段随意叠起来。先明确数据、预算、目标和验证集，再决定继续预训练、SFT、偏好优化或 RL 哪一种对应实际问题。
硬件与 Roofline → KV Cache → FlashAttention → 量化 → 服务调度 → 投机解码 → 分布式并行 → ZeRO / FSDP → 推理平台 → 性能测量。
实践目标：能解释一个请求的时间花在哪里，并区分计算、带宽、排队和网络开销。估算公式是形成假设的工具，profiler 和受控负载实验才用于验证瓶颈。
架构 → 工具 → 上下文与记忆 → RAG → 规划 → 运行时 → MCP → 评测 → 编码 Agent。
再按任务需要进入多 Agent、多模态 Agent与安全边界。先让一条任务路径可观察、可验证、可恢复，再决定是否增加协作结构。
| 你的问题 | 直接阅读 |
|---|---|
| 为什么模型会编造，但说得很确定？ | 能力与局限 |
| 大模型为什么要用 MoE？ | MoE |
| 微调与 RAG 怎样选择？ | SFT、RAG |
| DPO、PPO、GRPO 到底优化什么？ | 偏好、PPO、GRPO |
| 4 bit 模型为什么不一定更快？ | 量化 |
| 上下文越长为什么越慢？ | KV、长上下文 |
| 推理时多花 token 怎样换来效果？ | 推理时计算 |
| Agent 的记忆、日志、checkpoint 有何不同？ | 上下文、运行时 |
| 怎样判断新论文有没有实际价值？ | 前沿问题、评测 |
正文用于理解机制；词典和公式速查用于短时查询；实验用来把直觉变成可检验的结果。每篇末尾少量链接用于继续深挖，来源索引集中放在这里。
公式通常采用自然对数，GB 使用十进制、GiB 使用