技术覆盖审查：从缺口到可回答的研究问题

判断一个主题是否讲清，标准不是“目录里出现了这个词”，而是读者能否解释为何需要它、推导核心关系、落实实现边界、设计对照实验，并回答条件变化后的追问。公开面经用于确定常见入口，论文与官方实现用于核对答案。

下面列出各领域发现的实际断点与补写位置。完整知识地图见研究路线，集中问答见面试详解。

1. 模型与预训练

审查发现	已补写的关键解释	正文
初始化主要停留在 fan-in，无法解释残差深度与梯度方向	前后向二阶矩、非线性增益、残差协方差、Jacobian 条件与 attention 熵	初始化与信号传播
知道 batch 降噪，却不会估计临界 batch	二阶期望下降、学习率饱和、噪声与信号矩估计、token/step 时钟	批量与学习率
训练流程仍有黑盒函数，关键 mask 与恢复状态不完整	文档 pack、shift、隔离 attention、全局 token 分母、共享权重梯度、可重复恢复	完整训练契约
MTP 只有“预测多个 token”，没有条件概率与梯度	独立边缘与联合分布反例、串联 teacher forcing、共享梯度、词表头开销与验证	多 token 预测
ICL 缺统计解释与机制证据层次	隐任务后验、岭回归、一步 GD/线性 attention、induction、patching 与探针边界	ICL 与机制解释
音频/视频仍偏概览	序列化、对齐目标、codec/连续特征、时空位置、压缩与时序消融	音视频序列建模

例如，完整训练契约现在可回答：为什么同一 global batch，先对每个 microbatch 求 mean 再平均会改变梯度？为什么恢复除了模型与 optimizer，还需要数据采样状态、随机数和训练时钟？相关答案有实际 CPU 小 Transformer 实验支持。

审查发现	已补写的关键解释	正文
熵坍缩只描述现象，没有梯度与诊断闭环	条件熵导数、状态访问分布、有效组、奖励捷径及联合指标	RLVR 诊断
PRM/ORM 有分类，过程标签与信用分配没有闭合	Monte Carlo 标签的成功概率、步骤正确性与价值区别、步骤边界与聚合	过程监督
DPO 仅解释固定偏好数据	在线采样、采样器停止梯度、reference 更新、分布覆盖反馈	在线偏好
合成与蒸馏主要是单轮筛选	自训练反馈、尾部消失、长 CoT 的质量/长度混杂、训练与测试预算	推理数据与预算

例如，“某个步骤后多次续写能得到正确答案”估计的是给定继续策略的成功概率，不自动证明当前步骤逻辑正确。这样的区别会直接改变 PRM 标签、训练目标与 verifier 的使用方式。

审查发现	已补写的关键解释	正文
MoE 路由和通信分别讲了，但没连成执行路径	dispatch/combine、逆映射、负载、DeepEP 版本、通信与计算重叠	MoE 系统
PP 有 bubble 公式，缺逐事件依赖与显存存活	F/B 或 F/I/W 依赖、1F1B、activation liveness、延迟 wgrad 的代价	流水线调度
低精度更多讨论推理，缺训练数值契约	FP8 scale/amax、forward/dgrad/wgrad、累加精度、loss scaling 与故障定位	FP8 训练
KV 裁剪/稀疏方法列了名称，缺误差与测量对象	被删概率质量、输出误差、query 依赖、历史选择偏差及容量收益	缓存近似

同时补充 P/D 服务设计的资源与排队约束。协议延迟、带宽下界、实际吞吐与 SLO goodput 分开解释；CPU 调度模拟不冒充 GPU 性能结果。

审查发现	已补写的关键解释	正文
InfoNCE 梯度已有，但负例分布、排序目标和索引版本脱节	密度比、sampled-softmax 有偏比值、RankNet/Lambda 权重、蒸馏、索引漂移和评测	检索训练评测
多 Agent 主要是工程分工，缺相关错误和学习机制	任务难度混合、联合策略梯度、COMA、顺序对话反例、QMIX 表达限制	多 Agent 研究
Coding Agent 主要是流程说明，缺研究变量与验证器偏差	定位条件分解、ACI、测试信息价值、自适应过拟合、轨迹训练与评测契约	Coding Agent 研究

例如，三个 Agent 各有 70% 平均成功率，不足以推出多数投票达到 78.4%。若任务难度构成共同潜变量，单任务条件成功率的分布会改变集成收益；如果 Agent 顺序阅读彼此消息，还会改变信用分配 baseline 的条件独立性。

面试入口按岗位分成四组，每组包含实质答案和连续追问：

常见主问题与研究扩展是两层内容。例如“解释 KV Cache”是常见入口，“缓存裁剪的输出误差能否由被删概率质量控制”是研究级扩展；按目标岗位选择准备深度。

研究实验集提供数值与最小实现。验证包括独立有限差分、状态枚举、分块/递推等价、真实 CPU 小模型训练、恢复一致性、调度依赖与错误补丁反例。

数值实验的作用是让关键公式与执行假设可检查。真实 GPU、集群和 benchmark 的结论按“已运行的代码”与“按环境执行的实验设计”分别陈述。