Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
9 changes: 8 additions & 1 deletion docs/CHANGELOG.md
Original file line number Diff line number Diff line change
@@ -1,11 +1,18 @@
# 变更日志

## feat: [M027] 迁移LOCAL内部产物扫描登记([PR #232](https://github.com/makewheels/video-2022/pull/232),2026-10-30)

- #231已按用户授权合并;继续迁移真实LOCAL完成方法的侧车/校验/签名清单/全前缀/分片/Transcode登记前缀,显式内部工厂,不安装半条完成HTTP或提前READY。
- 69组真实旧内部方法/完整BSON及调用/ID顺序,固定样本重放和相关Java8passed;新增Python85项,不重叠相关回归314passed/0skipped,Ruff/架构/500行通过。完整CI见本批PR当前head;真实OSS/FC/设备未验。
- 保留原字段/默认值、Long大小、历史/重复分片、有序批插入的部分失败与Java码率;侧车getter补固定Fastjson的HashMap顺序/UTF16兼容,增强原69例并实际对照249组。无新字段/索引/任务或业务重试;已知可选读取错误warn,坏JSON/未知编程错误上抛,SDK媒体对象读取后关闭。
- 固定90项台账完成数4、剩余86,本批待合并;M028/M019完整完成及可靠副作用仍待做,不继续细拆编号,不据任务数重算上线比例。

## feat: [M030-M032] 迁移订阅增删与通知查询/已读状态(2026-10-30)

- 新增六个旧HTTP入口的普通能力、现有Mongo适配及三个独立、默认关闭的隔离开关,共用身份/同步日志;生产入口、业务模型和客户端用法不变。
- 86组真实旧HTTP/完整BSON,实际Java16项通过并再次重放固定样本;新增Python102项,相关回归及补验分批跑通,最终通知/HLS/架构121passed/0skipped/1既有warning。控制字符/NBSP旧样本修复前实际失败,改用共用Java trim原样规则后通过。Ruff/架构/500行及文档台账检查通过,完整CI见本批PR当前head,真实FC/实机未跑。
- 保留订阅记录/独立计数的部分失败、Long计数、通知旧可选身份/JSON/null/分页和read窄写;不新增原本未调用的通知生成、鉴权规则、队列或云资源。
- 剩余工作固定为M001–M090任务台账,列交付物/验收/依赖/状态,不再扩字母子号;本轮三项隔离交付、未合并,基线仍余87项,不据任务数重算工作量百分比。
- 剩余工作固定为M001–M090任务台账,列交付物/验收/依赖/状态,不再扩字母子号;三项已随[#231](https://github.com/makewheels/video-2022/pull/231)合并,当时基线余87项,不据任务数重算工作量百分比。

## feat: [S15.b.1] 迁移登录用户的订阅状态与列表读取(2026-10-29)

Expand Down
4 changes: 3 additions & 1 deletion docs/api/5-转码接口.md
Original file line number Diff line number Diff line change
Expand Up @@ -73,6 +73,8 @@ Content-Type: application/json

完整流程:`createTranscode` 登记一档分辨率并拿到 OSS 上传凭证 → 客户端用本机 ffmpeg 切 HLS(m3u8 + ts)直传到 `outputDir` → `finishTranscode` 触发服务端扫描 OSS 登记 ts、置视频就绪。封面同理走 `createCover` / `finishCover`。所有接口都需登录态(`token`),且校验视频归属当前用户。

**Python迁移边界(M027)**:[扫描登记](../requirements/2026-10-14-serverless-backend/upload/local-output-registration.md)仅显式内部装配,没有原独立扫描HTTP,故不新增接口。即使隔离应用开启档位创建,`/transcode/local/finishTranscode`仍404,不能把只有登记而无完成/可靠副作用的链路当成功。下述现有Java接口不变;完整完成接口迁移归M028。

### 本地转码-登记一档

```
Expand Down Expand Up @@ -110,7 +112,7 @@ Content-Type: application/json
POST /transcode/local/finishTranscode?transcodeId={transcodeId}
```

客户端把该档的 m3u8 + ts 全部传到 `outputDir` 后调用。服务端先校验完整播放产物,再登记全部分片,最后置为 `FINISHED`;登记复用 `TranscodeCallbackService.onTranscodeFinish` 扫描 OSS 登记 ts、计算码率;当该视频所有分辨率都完成时置 `READY`。
客户端把该档的 m3u8 + ts 全部传到 `outputDir` 后调用。服务端`TranscodeCallbackService.onLocalTranscodeFinish`先读取/核对可选result.json并校验完整播放产物,再登记清单和全部分片/码率,最后置为`FINISHED`;当该视频所有分辨率都完成时置`READY`。

### 本地封面-登记

Expand Down
6 changes: 6 additions & 0 deletions docs/design/serverless-backend.md
Original file line number Diff line number Diff line change
Expand Up @@ -63,6 +63,12 @@ flowchart LR
- 保持旧 Java 读取新写入数据和任务状态的能力。若需要不可逆模型变化,应先修改方案,不能把切回域名当成完整回滚。
- 数据库位置迁移独立于 API 切流;需要备份、增量同步/短维护窗口及单写者方案后另行执行,不在同次灰度双主写入。

### LOCAL内部扫描登记(M027)

`LocalOutputRegistration`承接旧LOCAL完成方法中“可选侧车→既有校验→播放列表File→整前缀扫描→TsFile有序插入→Transcode登记保存”的同步前缀,单独显式装配、不安装HTTP。没有独立旧扫描路由,不能为了交付人为新增公开路由,或把不含完成/可靠副作用的半条finish包装为成功。完整完成、视频READY及Webhook仍归M028/M019。

数据仅使用既有File/TsFile/Transcode字段;复用原ID、全量映射、Fastjson方言和OutputValidation。对象存储适配区分校验读取、可选侧车、10分钟签名清单下载、元数据与1000条分页列举,不能把不同时间点的读取合并为快照。新分片构造后有序批量插入,保留前序部分写入、既有分片和Java码率;不加业务层重试、事务、索引或后台工作。已知可选对象读取错误warn,坏JSON及未知编程错误上抛;元数据对象读后关闭。真实方法的登记AfterSave边界与完整BSON作为内部契约,后续M028另验完整旧HTTP。

## 6. 部署和成本

GitHub Actions 继续承担测试、取密、代码包发布、版本别名和回滚;设计不要求每个请求访问旧服务器/Infisical。新流水线、函数、域名、队列、Mongo/VPC 配置均尚未创建。
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -6,12 +6,12 @@

- **基线为90项剩余工作,固定编号M001–M090**,不是90个新增需求或90个承诺的PR。已合并成果不再列成待办;S00–S24和历史字母编号只保留为归属、PR及证据索引。
- 不再产生字母或嵌套子编号。任务内部可以有实现步骤;发现真正漏项时,只在末尾追加新编号,在变更记录说明源码依据、原因及对总数的影响,不重编号、不暗改分母。
- 每行是一个交付物,验收栏写该交付物的关键边界。实现类任务默认包含**旧Java HTTP/完整BSON证据、普通能力/端口/适配、显式隔离HTTP、相关回归、文档和质量门禁**;不能只交纯函数就标整项已交付。调查任务须交可复核结论,不把提案当运行时。
- 每行是一个交付物,验收栏写该交付物的关键边界。实现类任务默认包含**旧Java HTTP/完整BSON证据、普通能力/端口/适配、显式隔离HTTP、相关回归、文档和质量门禁**;没有独立旧HTTP的内部步骤须验证真实旧方法/完整BSON与显式内部装配,不人为新增路由或伪造半条完成HTTP。不能只交纯函数就标整项已交付。调查任务须交可复核结论,不把提案当运行时。
- 实现的隔离验收与真实云端/各端验收分行,不能互相代替。`已交付`须有对应验证记录和提交/PR证据;未合并状态另行注明,不能写成主干已交付。PR合并仍由所有者决定。
- 前置栏只列本台账内的实际依赖,`无`表示可利用已合并基线独立推进,不表示可跳过旧行为调查。外部权限、费用、生产变更需要具体授权,任务编号本身不是授权。
- 每项完成后记录实际用时、阻塞等待和复验结果;有了同类任务实测数据再修正工期。**完成项数不是工作量百分比**,本表完成率也不是整个项目的完成率。

截至本轮隔离交付:**3已交付 / 0进行中 / 1阻塞 / 86待做**,基线剩余87项。M030、M031、M032已在工作分支完成本机验收,尚未合并;完整CI以本批PR当前head为准。这不是生产完成率,其余任务不在本次实现中顺带扩大。
当前:**4已交付 / 0进行中 / 1阻塞 / 85待做**,基线剩余86项。M030–M032已合并[#231](https://github.com/makewheels/video-2022/pull/231);M027隔离实现/本机验收已交付,当前工作分支未合并,完整CI见本批PR当前head。固定分母不变;这不是生产完成率。

## 发布、网络及已有能力的剩余验收

Expand Down Expand Up @@ -52,7 +52,7 @@
| M024 | S10 | 原片完成接口与可靠受理 | 旧权限/状态、返回和部分写入顺序;请求返回后不依赖本机线程继续工作 | M018、M019 | 待做 |
| M025 | S10 | MD5提交、完成与结果登记 | 固定既有哈希函数/文件key及失败恢复;不重复提交或把长处理塞回普通API | M024、M022 | 待做 |
| M026 | S10 | AUTO去重与共享原片复用 | 并发重复、已有状态、引用和失败残留对照;不误删共享原片 | M025 | 待做 |
| M027 | S11 | LOCAL目录、媒体文件及侧车扫描登记 | 复用既有产物校验,固定文件/目录/manifest完整BSON和写入顺序 | 无 | 待做 |
| M027 | S11 | LOCAL目录、媒体文件及侧车扫描登记 | [真实旧内部方法/完整BSON与内部装配](../upload/local-output-registration.md),复用产物校验;不安装半条finish HTTP | 无 | 已交付 |
| M028 | S11 | LOCAL完成回调和重复完成 | 复用就绪窄写;部分失败、重复登记、READY保护及既有必要副作用可恢复 | M027、M019 | 待做 |
| M029 | S10/S11 | 各端AUTO/LOCAL完整上传验收 | 真实STS直传、原片完成、去重、侧车和各端原用法;收费媒体调用单独授权 | M009、M026、M028、M038 | 待做 |

Expand Down Expand Up @@ -170,10 +170,11 @@

## 执行与进度记录

今日M030–M032的隔离实现/本机验收已交付,[契约与回退](../user/subscription-notifications.md)、[实际验证](../verification.md)和[接续记录](../progress.md)有具体证据,合并/CI状态另行注明。后续优先处理M016/M017的可靠任务证据及M027的LOCAL扫描,M001/M005云端门槛同步保留;独立任务不因云权限受阻而停下。
M030–M032已随#231合并;继续交付[M027内部LOCAL扫描](../upload/local-output-registration.md),69组真实旧方法/完整BSON及本机314项Python、8项Java通过,新PR未合并。证据见[实际验证](../verification.md)和[接续记录](../progress.md)。后续优先M016/M017的可靠任务证据;M028完整完成还依赖M019,不拿扫描完成冒充整条上传可用。M001/M005云端门槛保留,独立任务不因云权限受阻而停下。

任务不绑定任意时长的PR:一个任务可以分实现提交和收尾提交,但不因此增加任务编号;一项业务的实现/契约/文档可同PR交付。提交/PR使用`[M030]`或明确范围,正文保留S阶段归属和已验/未验。必要CI通过后仍不自行扩大合并或生产授权。

### 基线变更记录

- 2026-10-30(M027):源码确认扫描没有独立旧HTTP,验收明确为真实旧方法/完整BSON和显式内部装配,不发明半条完成HTTP。编号/分母不变,M028/M029边界及前置不变;不是新增需求或继续细拆。
- 2026-10-30:从原“进入各域前初始拆分”整理为90项剩余任务;保留历史阶段/PR证据,不重算已完成工作。纠正订阅/通知HTTP对S12的过宽依赖;明确未迁视频管理、OSS元数据、App版本及异常查询入口,避免全被藏在“其余运维”中。没有新增业务规则、通知生产者、云资源或上线授权。
Original file line number Diff line number Diff line change
@@ -1,8 +1,8 @@
# 总体进度与剩余清单

更新:2026-10-30。远端master为`1b4eeb20`,[PR #229](https://github.com/makewheels/video-2022/pull/229)赞踩和[PR #230](https://github.com/makewheels/video-2022/pull/230)订阅读取均已合并;master CI40846984693及既有Java部署40846984740实际success。Python真实FC发布仍无成功验收记录,不能把Java部署成功当Python上线。
更新:2026-10-30。远端master为`dec7a776`,[PR #231](https://github.com/makewheels/video-2022/pull/231)订阅写入/通知已按用户授权合并;该PR终版CI40990924783成功,Python1531passed、Java783passed,API/浏览器E2E跳过。合并后的部署另验,不能把既有Java部署或原型CI当Python真实FC上线。

剩余执行改用[固定任务台账](remaining-work.md):基线90项,M001–M090,不再扩展字母子编号。今日M030订阅增删、M031通知查询、M032已读状态的隔离实现/本机验收已交付,工作分支未合并、完整CI见本批PR;剩余87项。历史S阶段和PR编号保留,不重算已交付成果。
剩余执行改用[固定任务台账](remaining-work.md):基线90项,M001–M090,不再扩展字母子编号。M030–M032已合并,M027内部LOCAL扫描登记隔离交付、工作分支未合并;剩余86项,完整CI以新PR当前head为准。历史S阶段和PR编号保留,不重算已交付成果。

## 两个工程分别看

Expand All @@ -15,12 +15,12 @@

## 一眼看懂当前位置

- 后端迁移总计 **25个大阶段**,编号S00–S24;S15订阅读取已合并,**M030–M032已交隔离实现/本机验收,待本批PR合并**。S10上传、S11 LOCAL、S12可靠任务和真实FC/各端验收仍未完成,不表示此前阶段全部完成。
- 后端迁移总计 **25个大阶段**,编号S00–S24;**M030–M032已合并,M027隔离交付待合并**。S10上传、S11 LOCAL、S12可靠任务和真实FC/各端验收仍未完成,不表示此前阶段全部完成。
- 应用户2026-10-16要求给出沟通用百分比:**整体开发工作量粗估约25%,剩余约75%**。这是基于已完成/部分阶段的人工估算,误差较大,不是实测或生产验收完成率;生产尚未切换。
- **3已交付 / 2阻塞或未验 / 10部分完成 / 10主体未迁移**。S10/S11/S12/S14/S15均有隔离能力,但仍缺各自剩余业务或真实环境验收;不能按PR数量或已写模块数换算上线百分比。
- S09固定拆为 **14个子任务:13已合并、1待验**;m.1–m.3隔离装配/入口/编码矩阵已合并,n真实环境仍未验。S10.a.1已合并#216、a.2/b.1普通创建#217、c.1凭证/文件完成#218;b.2状态轮询已合并#219;原片可靠受理/MD5等仍缺。
- [剩余执行清单](remaining-work.md)已细化后续业务批次、验收和依赖;S09.a–m已合并、n真实环境待验,后续按依赖推进,不因云权限阻塞停下独立开发。
- PR标题统一`type: [Sxx.y] 具体成果`;已有#200–#207已补编号。PR是交付批次,不是项目总任务数。
- 新PR标题统一`type: [M027] 具体成果`或明确任务范围;旧S阶段编号保留为历史证据。PR是交付批次,不是项目总任务数。
- 25是里程碑总数,90是2026-10-30基线的剩余交付物数;两者都不是PR总数或等权工作量。发现漏项只在任务台账末尾追加并记录原因,不扩字母层级;目前仍没有逐任务实测工时。

## 当前S09:14个子任务
Expand Down Expand Up @@ -59,11 +59,11 @@
| 09/25 | S08 播放/清单/文件 | 部分实现 | 观看信息/主子清单已合并;文件重定向#196已合并,完整下载/计费/端到端仍缺 |
| 10/25 | S09 心跳/进度/会话/历史 | 隔离能力已合并,真实环境待验 | a–m共13子项与统一装配/HTTP/日志/编码已合并;n真实FC与各端验收仍依赖S03/S04 |
| 11/25 | S10 上传/MD5/AUTO去重 | 部分实现 | #216–#219创建、凭证/文件确认和状态轮询已合并;原片完成、MD5/AUTO及可靠受理待做 |
| 12/25 | S11 LOCAL登记 | 部分实现 | #221–#224迁移封面登记、LOCAL转码登记、产物校验与视频就绪窄写;扫描/回调/完整登记链路和真实文件云端仍待做 |
| 12/25 | S11 LOCAL登记 | 部分实现 | #221–#224迁移封面/档位登记、校验和就绪窄写;M027内部扫描已隔离交付待合并,M028完成/可靠副作用和M029真实云端/各端链路仍待做 |
| 13/25 | S12 可靠任务/恢复 | 故障实验已交付,方案/运行时待做 | #220进程终止模型确认写库/投递与未知受理间隙;真实托管唤醒、deadline和恢复协议仍未解决 |
| 14/25 | S13 云任务/回调/MPS | 主体未迁移 | 把既有Java任务/回调/恢复迁入Python,不能重复计费或双所有者 |
| 15/25 | S14 评论回复 | 隔离读写能力已交付 | #225读取、#227创建/回复/级联删除/点赞切换;尚未接生产入口,真实FC和各端验收仍待做 |
| 16/25 | S15 赞踩/订阅/通知 | 隔离HTTP能力已交,真实验收未齐 | 赞踩#229、订阅读取#230已合并;M030–M032订阅写入/通知HTTP完成本机验收、待本批PR合并;真实FC/各端归M040,不新增原本未调用的通知生成业务 |
| 16/25 | S15 赞踩/订阅/通知 | 隔离HTTP能力已合并,真实验收未齐 | 赞踩#229、订阅读取#230、M030–M032订阅写入/通知#231已合并;真实FC/各端归M040,不新增原本未调用的通知生成业务 |
| 17/25 | S16 播放列表/分享 | 未开始迁移 | CRUD/排序/恢复/跳转统计 |
| 18/25 | S17 开发者/JWT/OAuth/OpenAPI | 未开始迁移 | 旧凭据、scope、刷新撤销与两套路径 |
| 19/25 | S18 限流/Webhook | 未开始迁移 | 跨实例额度、签名字节与可靠重试 |
Expand All @@ -76,6 +76,8 @@

## 当前检查点与历史交付

2026-10-30合并后接续:#231已合并`dec7a776`;M027扫描登记新增69组真实旧内部方法/完整BSON,不新增独立HTTP或置READY。本机Java8passed,Python新增85项且不重叠相关回归共314passed,Ruff/架构/500行通过;新PR未合并,当前head CI另验。固定台账4交付/1阻塞/85待做、剩余86项,不因此提高人工百分比或宣布Python上线。

2026-10-30:M030–M032实际旧Java16passed/0skipped,含86组新HTTP/完整BSON且生成后再次固定文件重放;新增Python102项,初轮相关309项分批验证,补真实Java trim/NBSP样本修正兼容边界后通知/HLS/架构最终121passed,非本机全量。Ruff/架构/500行通过,工作分支未合并、CI当前head见本批PR。通知路由旧可选身份、primitive null错误和Java字符串空白规则均按实测保留,没有迁库/切流/云资源变更。

2026-10-29接续:#229已合并`162c6d37`且master CI40843192645成功;S15.b.1隔离订阅读取完成真实Java2项/26组样本、Python相关域108passed/0skipped/1warning及本机门禁。仍约25%的人工开发估算,不表示生产完成度。未自行合并本批或切生产;当前head CI和未验范围记录于本批PR。
Expand Down
2 changes: 2 additions & 0 deletions docs/requirements/2026-10-14-serverless-backend/plan.md
Original file line number Diff line number Diff line change
Expand Up @@ -47,6 +47,8 @@ S12 可以提前调查,但依赖可靠任务的写业务不能在它未通过

总计划25个里程碑S00–S24保留,S09历史a–n及原PR证据不重编号。**2026-10-30起,剩余执行统一使用[固定任务台账](overview/remaining-work.md)的M001–M090**;每项列交付物、验收、依赖和状态,不再扩展字母层级。新PR标题用`[M030]`或明确任务范围,正文记录S阶段归属、已验/未验与回退点;总体状态仍见[总表](overview/status.md)。

M027内部LOCAL扫描没有独立旧HTTP,以真实旧方法/完整BSON、普通能力/适配与显式内部工厂交付,不新增半条完成HTTP。69组旧样本、本机Java8项/Python相关314项已实际通过;新PR/完整CI另记,M028/M019完成及可靠副作用不顺带标完,不为内部步骤加新编号。

## 每个 PR 的交付要求

1. 阶段 ID、单一问题与实际成果;规划不冒充实现。
Expand Down
Loading
Loading