Skip to content

Latest commit

 

History

History
90 lines (57 loc) · 6.76 KB

MIRROR.md

File metadata and controls

90 lines (57 loc) · 6.76 KB

镜像与切片统合加速

判定逻辑唯一真相:src/server/mitm/mirror.rs(派发/竞速/降权)、merge.rs(段合并与让位)、direct_split.rs(纯直连多路)。本文从上往下就是两条流量线的完整走法。

1. 两条流量线

流量线 入口 走法
大文件/Release(objects、release-assets、github.com 附件路径) master_route → Mirror 切片竞速 → merge 合并;切片不成立时单流 ECT 直发
媒体白名单(raw、user-images、private-user-images、media、camo、gist、avatars) switchboard → try_direct_split 探片定段 → 单通道多段并发 → 镜像救援

两条线的候选都是 镜像链 + 直连同台:直连以 direct/{host} 身份参与,与镜像一视同仁;502 只在全部候选失败时发生。直连腿的拨号/游标/连接池/记账由 mitm/mod.rs 组装成 DirectLeg future 注入。

资产库(asset_store)不在这份文档里——它是缓存(同 URL 拉一次本地回放),没有加速作用,只共享通道池,见 ARCHITECTURE.md §5。

2. 大文件线

2.1 先判切片,不成立再单流

切片前提(全部满足才切):GET、非探片(bytes=N-N 是下载器探路)、区间 ≥ 512KB、空闲源 ≥ 2 家、总长可探。任一不成立 → 单流:ECT 挑家直发。

2.2 总长探测(无 Range 时)

无 Range 的请求先发 bytes=0-0 探总长:候选按 ECT 择优探前 2 家,谁先给 Content-Range 总长用谁;总长记 10 分钟,同 URL 下一条不必再探。上游忽略 Range 回 200 → 整份按单流交付,并记"不可切"10 分钟。

2.3 段位分配

  • 无 Range:段数 = 空闲源数,等分
  • 带 Range(下载器分段续传):段位按"同 URL 在途区间总字节 ÷ (镜像数 + 直连 1)"现算,大区间先占、每请求保底 1 段——防止几个并发请求把全部镜像各按几十路打

2.4 段请求卫生

每段独立 GET:剥 Accept-Encoding(每段各压一遍拼回是坏数据)、剥条件头(304 对段请求无意义)、剥身份头(Cookie/Authorization/Referer/UA → 恒定浏览器 UA)。直连段跟 302 最多两跳,每跳头预算 2 秒;有镜像兜底时整段预算 4 秒,无镜像不设——唯一的路不能掐。

2.5 段校验

每段必须 206 且 Content-Range 起点对准刀口、终点不越界——错位 = 静默截断,按这家失败换下一个。总长对账:探得/记忆的总长与首段 206 自报不符 = 记忆陈旧(对象换版/镜像转码)→ 作废记忆回单流。

2.6 交付与补发(merge.rs)

交付线按偏移穿行段表(BTreeMap),段缓冲 2MB 先到先存;停滞 5 秒零帧 → 缩边界,已收字节留下、尾巴排补发(不是整段重下,缓冲一个字节不丢);补发按分配窗(5ms) ECT 挑家(不能挑"最空闲"——刚断流负载归零恰是最空闲);连续 6 次补发空手 = 放弃。段间重分配见 §3;直连腿骑单通道,段间摊派无意义不参与。

3. ECT 双窗与重分配(派发的分)

每面源两张成绩单,独立线程 5ms 一拍:

  • 分配窗(5ms):段内补发/重派的 ECT 分母;零收一律沿用不清零——速率估计,卡死语义归停滞收尸与降权管。
  • 测速窗(350ms):单流新连接路由的分母;零收有债清零——路由避开停摆源。

派发分数 = (在途字节 + 新请求) × 窗口ms ÷ 上窗实收——真毫秒,最小者胜、无容差;零历史垫底(闲者先试)。Windows 定时器实际粒度 ~15ms,所有源同刻度,排名不受影响。

切片门(校准):未测镜像(无测速成绩)>0 且候选全闲 → 每镜像一片(区间÷镜像数),同一批 350ms 窗口同时出成绩;否则单流直发。加速外包给下载器——IDM 定连接数与波次,代理只做路由。

重分配(切片起 350ms 后,每拍一次):剩余字节按各段实测速率摊派公平份额,超出份额且超额 ≥ 128KB 的段切尾重派(已下字节与缓冲全保、流掐、h2 连接回池不断)——drain 最小者份额天然最大自动保留,慢镜像名下只剩它实际下载的量。切尾重派自带 worker 首包延迟与在途作废(流控窗 ~64KB),128KB 下限保证净赚。

失败降权两档:硬错误(拒连/RST/坏回包)45 秒、超时类(拨号/首包/预算超时)15 秒——慢不等于死;切片首切/补发失败同样降权,ECT 不反复踩死拨号家。

4. 失败分级(影响面从大到小)

层 触发 动作
段 停滞 5 秒 / 206 错位 缩边界换家,缓冲不丢
镜像源 硬错误 45s / 超时 15s 降权 窗内不派新活,到期自愈
链 整链全灭(镜像参与时) 熔断 60 秒快速失败
直连 IP TCP / TLS / h2 失败 死亡退避,串发跳过

四层的区别是影响面:段影响一次请求,镜像源影响一条 IP 上的所有键,边影响某个 (IP,域名) 组合,IP 影响全部域名。混用会出两种事故——把抖动当死亡,或把风控当成功。

5. 媒体直连多路(白名单 7 域)

  • 探片 10KB 记总长与媒体类别(10 分钟);非媒体/不回 206 → 记不可切不再探
  • 恒 N 段(目标 192KB,段数钳 4~8),全部骑池内同一条直连通道——185.199 聚合水管恒定,多连接不加吞吐 → 关让位,慢段只走停滞补发
  • 并发闸 MAX_ACTIVE = 6(按响应体生命周期计数);段失败同通道重试至多 3 次
  • 镜像救援:图片链/视频链逐家续传(206 + 起点校验),脚本无链 → 直连同通道偏移重拉;链全灭熔断 60 秒

6. 镜像请求卫生

  • 身份头全剥:Cookie / Authorization / Referer / UA;注入恒定浏览器 UA(CF 系镜像拦非浏览器 UA,裸 Mozilla/5.0 一律 403)
  • 模板:{mirror} {url} {url_enc} {owner} {repo} {ref} {path} 占位符;添加镜像时用法试探(5 种已知用法家族并发验货,首个命中存档),无模板走前缀拼接
  • 校准:小文件链逐 host 串行 TTFB 测速(跨链并发互相污染测量),按毫秒重排;大文件域不做合成测速——ECT 用真实下载流量持续学习

7. 不变量

  1. 镜像请求不携带任何身份头;恒定浏览器 UA
  2. 206 段必须对刀口:起点错位、未带 Range 回 206、终点越界 = 静默截断,按失败换家
  3. 合并只按偏移校验,不比内容;镜像无内容哈希是登记在案的边界,官方 SHA256 是唯一核验手段
  4. 小文件流与大文件机器绝对解耦(big=false 零接触)
  5. 补发按 ECT 挑家,不能挑"最空闲"
  6. 熔断只拦镜像候选;零镜像时直连独走不连坐
  7. 直连无镜像兜底时不设预算——直连是唯一的路
  8. 让位、切片、补发的每一个退出路径都必须把字节账对平:缓冲不丢、区间不重叠、偏移不错位