Skip to content

调研:drizzle 迁移账本的 Go 兼容策略 #91

Closed

Description

@JonasGao

Part of #88

Question

__drizzle_migrations 账本语义(hash 算法、folderMillis、src/lib/db/migrations.ts 里 0017-0019 半迁移修复逻辑)在 Go 侧如何兼容:byte-compatible 执行同一批 41 个 SQL 文件(含修复逻辑移植)的代价 vs 冻结 schema 只读校验?未来新增迁移用什么工具(golang-migrate / 手写 / 继续 drizzle-kit 生成 SQL)?与 modernc.org/sqlite 的并发/WAL 交互有无坑?

Activity

  1. self-assigned this
    on Nov 5, 2026
  2. JonasGao commented on Nov 5, 2026

    @JonasGao
    CollaboratorAuthor

    结论

    采用 B+:冻结基线 + 启动严格校验 + 同账本“顺序前缀 applier”(仅放在显式 wr db migrate)。

    • serve 启动时只读校验账本与 schema,到 head(41/41)才服务;不满足即 fail closed,绝不执行迁移 SQL。
    • 不复刻 drizzle 的 max(created_at) 游标(有已知倒序跳过 bug),也不把 0017–0019 修复逻辑放进启动路径(健康库上全是 no-op,只保留为旧库/旧备份的一次性升级入口)。
    • 未来迁移复用 drizzle/ + meta/_journal.json + __drizzle_migrations,由 Go 手写 tiny applier 按 journal 顺序应用;不引入 golang-migrate/goose 的第二套账本。

    关键发现(会推翻“hash 全等即可校验”的假设)

    实测生产库 41 行账本并非逐条 hash 匹配:

    • 0002–0010 是 16 字符旧格式 hash;其中 0002 的 hash 对应 commit 9a7e847 重写前的文件内容,当前文件永远算不出来。
    • 0001–0010 的 created_at 是旧版“应用时刻”,不等于 journal 的 when。
    • journal 本身有 3 处 when 倒序(0003、0018、0029),朴素复刻 drizzle 判定会静默跳过条目。

    因此启动校验必须带历史例外表(完整 sha256 / 前 16 位 / created_at == when / 0002 固定旧 hash),并配合 schema 哨兵。

    其他

    • modernc:_pragma=foreign_keys(1)(对齐 better-sqlite3 编译默认)、_pragma=busy_timeout(5000)、_pragma=journal_mode(WAL)、有界 SetMaxOpenConns;WAL 单写者 + 读者并发,备份需处理 -wal/-shm。
    • go:embed 目录模式会排除 _ 开头文件,需显式 drizzle/meta/_journal.json 或 glob;embed pattern 不能含 ..,建议在仓库根放 embed 包。

    Findings: docs/research/drizzle-journal-compat.md,分支 research/drizzle-journal-compat,commit 3e4aa23。文件内含精确的启动序列、wr db migrate 算法、Option A/B 对比与全部证据引用。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions