Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
6 changes: 6 additions & 0 deletions docs/CHANGELOG.md
Original file line number Diff line number Diff line change
@@ -1,5 +1,11 @@
# 变更日志

## docs: [M016] 固定任务受理与恢复协议(2026-10-30)

- 交付源码可审阅设计:完整意图、既有task/attempt/HTTP、每次deadline护栏、重复/乱序/ACK与崩溃矩阵。SUBMITTED不等于确认受理,MPS另有扫描/租约,未知付费请求不立即重发;不只保护首次提交或删除恢复来实现零空扫。
- 产品/有限保留/死信/费用及可能技术收件箱字段索引明确待实验/确认;无运行时代码、新资源或业务模型变更。已有Java2项/进程模型7项本次未重跑,实际文档/台账门禁与最终head CI记录于本PR,不把设计当M017–M023通过。
- 用户已授权17:00前分批验证后普通merge;#232终版CI成功后14:24合并为`a78813b9`。固定90项现5交付、剩余85,不以任务数换算总体进度或宣称真实FC上线。

## feat: [M027] 迁移LOCAL内部产物扫描登记([PR #232](https://github.com/makewheels/video-2022/pull/232),2026-10-30)

- #231已按用户授权合并;继续迁移真实LOCAL完成方法的侧车/校验/签名清单/全前缀/分片/Transcode登记前缀,显式内部工厂,不安装半条完成HTTP或提前READY。
Expand Down
4 changes: 3 additions & 1 deletion docs/design/serverless-backend.md
Original file line number Diff line number Diff line change
Expand Up @@ -52,7 +52,9 @@ flowchart LR

**未解决门槛:Mongo 写入与任务投递不构成原子事务。** 单纯“写库后发队列”会在两步之间崩溃时丢工作;反过来投递后写库同样有间隙。Mongo outbox 只有在有可靠唤醒/消费来源时才完整,不能取消所有扫描后宣称不会丢任务。

原型需对比:先进入受持久化保障的编排,再执行业务步骤;或可靠 outbox 消费(需核实 replica set/change stream、断连恢复和常驻依赖);或低频兜底扫描。最后一项会产生无用户请求调用,与严格零空扫有取舍。尚未选定产品/机制,必须在保留任务恢复及既有响应语义的前提下确认,不擅自增加新业务字段或减少故障恢复能力。
原型需对比:先进入受持久化保障的编排,再执行业务步骤;或可靠 outbox 消费(需核实 replica set/change stream、断连恢复和常驻依赖);或低频兜底扫描。最后一项会产生无用户请求调用,与严格零空扫有取舍。[M016源码协议设计](../requirements/2026-10-14-serverless-backend/tasks/task-acceptance-recovery.md)推荐完整意图先获持久受理,每次活跃转换先建立deadline唤醒再CAS,处理完且后继可恢复才ACK;产品及存续/费用须M017真实实验,运行时仍待M018–M023,不增加业务字段、不删除旧恢复。

现有SUBMITTED在付费HTTP之前写入,不等于已获受理确认;崩溃后缺requestId不能立即重发。PROCESSING登记租约、429/业务退避和单独MPS查询租约也都要覆盖,不只保护首次提交。原HTTP返回、全部档位先保存、未知付费受理和有限重试语义见M016;死信/保留期限和技术收件箱需求明确列为未证实/待确认,设计不冒充云平台验收。

## 5. 分组、兼容和回退

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -11,7 +11,7 @@
- 前置栏只列本台账内的实际依赖,`无`表示可利用已合并基线独立推进,不表示可跳过旧行为调查。外部权限、费用、生产变更需要具体授权,任务编号本身不是授权。
- 每项完成后记录实际用时、阻塞等待和复验结果;有了同类任务实测数据再修正工期。**完成项数不是工作量百分比**,本表完成率也不是整个项目的完成率。

当前:**4已交付 / 0进行中 / 1阻塞 / 85待做**,基线剩余86项。M030–M032已合并[#231](https://github.com/makewheels/video-2022/pull/231);M027隔离实现/本机验收已交付,当前工作分支未合并,完整CI见本批PR当前head。固定分母不变;这不是生产完成率。
当前:**5已交付 / 0进行中 / 1阻塞 / 84待做**,基线剩余85项。M030–M032已合并[#231](https://github.com/makewheels/video-2022/pull/231),M027已合并[#232](https://github.com/makewheels/video-2022/pull/232);M016本PR交付可审阅设计,不是可靠任务运行时。固定分母不变;这不是生产完成率。

## 发布、网络及已有能力的剩余验收

Expand Down Expand Up @@ -41,7 +41,7 @@

| 编号 | 归属 | 交付物 | 关键验收 | 前置 | 状态 |
|---|---|---|---|---|---|
| M016 | S12 | 受理意图及恢复协议的可审阅设计 | 固定现有业务键/attempt/返回语义和崩溃点;新增技术字段/索引等单列确认,不暗改业务模型 | 无 | 待做 |
| M016 | S12 | [受理意图及恢复协议的可审阅设计](../tasks/task-acceptance-recovery.md) | 固定现有业务键/attempt/返回语义和崩溃点;新增技术字段/索引等单列确认,不暗改业务模型 | 无 | 已交付 |
| M017 | S12 | 托管唤醒与deadline真实平台实验 | 受理确认、重复投递、可见性、延迟粒度、保留/死信和空闲费用有证据;收费/扩权先授权 | M016 | 待做 |
| M018 | S12 | 可恢复的任务受理与持久化 | 覆盖保存/投递先后两种间隙,成功响应有可恢复依据;不靠尽力发通知 | M016、M017 | 待做 |
| M019 | S12 | 事件触发消费者及可靠唤醒适配 | 重启后能处理完整意图,找不到任务不能盲目确认;无常驻消费者/保活 | M018 | 待做 |
Expand Down
Original file line number Diff line number Diff line change
@@ -1,8 +1,8 @@
# 总体进度与剩余清单

更新:2026-10-30。远端master为`dec7a776`,[PR #231](https://github.com/makewheels/video-2022/pull/231)订阅写入/通知已按用户授权合并;该PR终版CI40990924783成功,Python1531passed、Java783passed,API/浏览器E2E跳过。合并后的部署另验,不能把既有Java部署或原型CI当Python真实FC上线。
更新:2026-10-30。14:24现场已按用户“分批merge,继续干”授权合并[PR #232](https://github.com/makewheels/video-2022/pull/232),本批基线master为`a78813b9`;#232终版head `4a1ddd30`的CI40999329017实际成功,Python1616passed、Java784passed,12项成功/2项API及浏览器E2E跳过。#231也已合并;合并后部署另验,不能把既有Java部署或原型CI当Python真实FC上线。

剩余执行改用[固定任务台账](remaining-work.md):基线90项,M001–M090,不再扩展字母子编号。M030–M032已合并,M027内部LOCAL扫描登记隔离交付、工作分支未合并;剩余86项,完整CI以新PR当前head为准。历史S阶段和PR编号保留,不重算已交付成果。
剩余执行改用[固定任务台账](remaining-work.md):基线90项,M001–M090,不再扩展字母子编号。M030–M032及M027已合并;本PR另交付M016受理/恢复协议设计,基线剩余85项,真实平台及运行时仍未交付。完整CI以各PR最终head为准;历史S阶段和PR编号保留,不重算已交付成果。

## 两个工程分别看

Expand All @@ -15,7 +15,7 @@

## 一眼看懂当前位置

- 后端迁移总计 **25个大阶段**,编号S00–S24;**M030–M032已合并,M027隔离交付待合并**。S10上传、S11 LOCAL、S12可靠任务和真实FC/各端验收仍未完成,不表示此前阶段全部完成。
- 后端迁移总计 **25个大阶段**,编号S00–S24;**M030–M032及M027已合并,M016本PR交付协议设计**。S10上传、S11 LOCAL、S12可靠任务和真实FC/各端验收仍未完成,不表示此前阶段全部完成。
- 应用户2026-10-16要求给出沟通用百分比:**整体开发工作量粗估约25%,剩余约75%**。这是基于已完成/部分阶段的人工估算,误差较大,不是实测或生产验收完成率;生产尚未切换。
- **3已交付 / 2阻塞或未验 / 10部分完成 / 10主体未迁移**。S10/S11/S12/S14/S15均有隔离能力,但仍缺各自剩余业务或真实环境验收;不能按PR数量或已写模块数换算上线百分比。
- S09固定拆为 **14个子任务:13已合并、1待验**;m.1–m.3隔离装配/入口/编码矩阵已合并,n真实环境仍未验。S10.a.1已合并#216、a.2/b.1普通创建#217、c.1凭证/文件完成#218;b.2状态轮询已合并#219;原片可靠受理/MD5等仍缺。
Expand Down Expand Up @@ -59,8 +59,8 @@
| 09/25 | S08 播放/清单/文件 | 部分实现 | 观看信息/主子清单已合并;文件重定向#196已合并,完整下载/计费/端到端仍缺 |
| 10/25 | S09 心跳/进度/会话/历史 | 隔离能力已合并,真实环境待验 | a–m共13子项与统一装配/HTTP/日志/编码已合并;n真实FC与各端验收仍依赖S03/S04 |
| 11/25 | S10 上传/MD5/AUTO去重 | 部分实现 | #216–#219创建、凭证/文件确认和状态轮询已合并;原片完成、MD5/AUTO及可靠受理待做 |
| 12/25 | S11 LOCAL登记 | 部分实现 | #221–#224迁移封面/档位登记、校验和就绪窄写;M027内部扫描已隔离交付待合并,M028完成/可靠副作用和M029真实云端/各端链路仍待做 |
| 13/25 | S12 可靠任务/恢复 | 故障实验已交付,方案/运行时待做 | #220进程终止模型确认写库/投递与未知受理间隙;真实托管唤醒、deadline和恢复协议仍未解决 |
| 12/25 | S11 LOCAL登记 | 部分实现 | #221–#224迁移封面/档位登记、校验和就绪窄写,M027内部扫描#232已合并;M028完成/可靠副作用和M029真实云端/各端链路仍待做 |
| 13/25 | S12 可靠任务/恢复 | 故障基线及M016协议设计已交付,运行时待做 | #220进程模型与M016推荐协议不等于真实托管唤醒/deadline通过;M017实验及M018–M023实现/验收仍待做 |
| 14/25 | S13 云任务/回调/MPS | 主体未迁移 | 把既有Java任务/回调/恢复迁入Python,不能重复计费或双所有者 |
| 15/25 | S14 评论回复 | 隔离读写能力已交付 | #225读取、#227创建/回复/级联删除/点赞切换;尚未接生产入口,真实FC和各端验收仍待做 |
| 16/25 | S15 赞踩/订阅/通知 | 隔离HTTP能力已合并,真实验收未齐 | 赞踩#229、订阅读取#230、M030–M032订阅写入/通知#231已合并;真实FC/各端归M040,不新增原本未调用的通知生成业务 |
Expand Down
4 changes: 3 additions & 1 deletion docs/requirements/2026-10-14-serverless-backend/plan.md
Original file line number Diff line number Diff line change
Expand Up @@ -47,7 +47,9 @@ S12 可以提前调查,但依赖可靠任务的写业务不能在它未通过

总计划25个里程碑S00–S24保留,S09历史a–n及原PR证据不重编号。**2026-10-30起,剩余执行统一使用[固定任务台账](overview/remaining-work.md)的M001–M090**;每项列交付物、验收、依赖和状态,不再扩展字母层级。新PR标题用`[M030]`或明确任务范围,正文记录S阶段归属、已验/未验与回退点;总体状态仍见[总表](overview/status.md)。

M027内部LOCAL扫描没有独立旧HTTP,以真实旧方法/完整BSON、普通能力/适配与显式内部工厂交付,不新增半条完成HTTP。69组旧样本、本机Java8项/Python相关314项已实际通过;新PR/完整CI另记,M028/M019完成及可靠副作用不顺带标完,不为内部步骤加新编号。
M027内部LOCAL扫描没有独立旧HTTP,以真实旧方法/完整BSON、普通能力/适配与显式内部工厂交付,不新增半条完成HTTP。69组旧样本、本机Java8项/Python相关314项已实际通过;#232最终head CI成功后已按用户批次授权普通合并,M028/M019完成及可靠副作用不顺带标完,不为内部步骤加新编号。

M016另交付[完整意图及恢复协议设计](tasks/task-acceptance-recovery.md),其设计成果不代替M017真实平台实验或M018–M023运行时。2026-10-30下午继续至17:00,已授权验证通过后分批普通merge;16:40起只收尾已有批次。云资源/费用/扩权、生产配置/切流及新业务模型仍须具体授权,不因截止时间跳过门禁。

## 每个 PR 的交付要求

Expand Down
8 changes: 8 additions & 0 deletions docs/requirements/2026-10-14-serverless-backend/progress.md
Original file line number Diff line number Diff line change
@@ -1,5 +1,13 @@
# 接续记录

## 2026-10-30 下午批次合并与M016设计

- 用户要求继续至北京时间17:00,随后明确“分批merge,继续干”。此授权覆盖验证通过后的普通批次合并,不包含新增收费资源、RAM扩权、生产配置/切流或业务模型变更;旧记录中的逐批等待所有者合并不再作为本次执行限制。
- 14:24:26按#232最终head `4a1ddd309d75ee075b22fc19a29e924df5d6cc26`核验CI40999329017(12成功/2条件E2E跳过,Python1616passed、Java784passed)后正常合并为`a78813b936b6e78180feacd62a9d1632cb8b135d`;本地master干净快进,新分支`feat-m016-task-recovery-20261030`。未据此宣称合并后部署或Python切流已通过。
- M016交付[完整意图及恢复协议](tasks/task-acceptance-recovery.md):固定真实taskId/attempt/字段、四类确认、原HTTP形状、每个deadline转换和崩溃出口;特别指出SUBMITTED先于付费调用,MPS另有独立30秒扫描,不能靠“没requestId”重发或只删除旧扫描。
- 推荐完整意图先持久受理、活跃转换前建立托管deadline护栏、条件认领与后继可恢复才ACK。产品/有限保留窗口/费用及可能收件箱字段索引明确待M017证明/另行确认;仅文档,无新运行时/资源/数据修改。已有Java2项/进程模型7项未在本次重跑,文档/台账检查和当前head CI另记本PR。
- 固定90项为5交付/1阻塞/84待做、剩余85;设计交付不把S12或M017–M023标完成,不据任务数提升粗估百分比。后续优先现有独立M033真实旧提交/回调/完整BSON契约,16:40起不再开新批次,收尾验证/普通合并/清理,不为时间点绕门禁。

## 2026-10-30 合并#231并继续M027

- 用户明确要求“merge继续做”。现场复核#231原head `73422dde`未变化、12项CI成功/2项E2E跳过,按仓库普通merge方式合并为`dec7a776b8d2678ed08b6ea02538244a26f68dd6`,本地master已干净快进。此前CI全量Python1531passed/Java783passed;不将旧head结果冒充后续master部署。
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,5 +4,6 @@

| 文档 | 内容 |
|---|---|
| [task-acceptance-recovery](task-acceptance-recovery.md) | M016 源码身份、受理/ACK/deadline协议、崩溃矩阵及待确认技术模型;设计不冒充运行时 |
| [task-submission-persistence](task-submission-persistence.md) | S12.a 提交持久化故障基线 |
| [process-crash-experiment](process-crash-experiment.md) | S12.b.1 真实进程终止下的模型受理间隙和重复认领;非云队列验收 |
Loading
Loading