Skip to content

调研:sqlc + modernc sqlite + chi 数据栈工作流 #92

Closed

Description

@JonasGao

Part of #88

Question

在既有 drizzle schema(26 表,41 个累积 SQL)上落 sqlc + modernc.org/sqlite + chi 的实际工作流:sqlc 以累积 SQL 为 schema 输入的可行性与坑(日期/JSON/可空列扫描)、modernc 驱动注册、迁移文件 go:embed 进二进制(摆脱 cwd 依赖)、chi 中间件表达 withAuth/trace 的惯例。产出一套已验证的最小配置配方。

Activity

  1. self-assigned this
    on Nov 5, 2026
  2. JonasGao commented on Nov 5, 2026

    @JonasGao
    CollaboratorAuthor

    调研完成

    推荐:sqlc 的 schema 输入用最终态 consolidated internal/db/schema.sql(把 41 个 drizzle 迁移按 _journal.json 顺序真实应用到空库后 dump sqlite_master),不要直接喂 drizzle/ 目录,也不要拼接迁移文件;生成前必须把反引号标识符统一成双引号。sqlc 生成标准 database/sql 代码,与 modernc.org/sqlite 解耦;sqlc generate / Go 构建均不需要 C 工具链。

    关键实测结论(sqlc v1.31.1 + modernc v1.61.1 + chi v5.5.0 + Go 1.27.1):

    • 41 个迁移按 journal 顺序应用 → 26 张表 / 26 个索引,与 schema.ts 一致。
    • 直接喂 drizzle 目录或拼接迁移文件均失败(反引号、ALTER、DML、顺序);最终态 + 引号归一化成功生成 12 条查询,含 RETURNING、UPSERT、:execrows、WithTx。
    • 时间列必须保持 int64:把 INTEGER 列 override 成 time.Time 会在运行期报 unsupported Scan ... int64 into type *time.Time。注意本仓库时间单位混用:45 列是 Unix 秒,api_tokens.* / api_audit_log.created_at 是 Unix 毫秒。
    • json_each 表值函数 sqlc 不支持,需保留手写 SQL;sqlc.narg() 可用但生成 interface{}。
    • chi:全局 Trace 中间件 + 仅挂在 /api 子路由的 Auth/Audit 中间件可 1:1 复刻 withAuth + proxy.ts 早拒 + PAT 审计;审计包装用 middleware.NewWrapResponseWriter(保留 http.Flusher,SSE 必需)。6 个 httptest 用例通过。
    • go:embed 必须用 all: 前缀,否则以下划线开头的 drizzle/meta/_journal.json 会被静默排除(实测 75 vs 76 文件)。

    最高风险:① Go 迁移 runner 与 Drizzle 兼容性(journal 顺序、--> statement-breakpoint、__drizzle_migrations hash 簿记、3 个 legacy drift 修复);② 时间单位混用;③ schema 漂移。

    产出:docs/research/go-datastack-workflow.md(含最小已验证配置 recipe 与完整风险排序),分支 research/go-datastack-workflow,commit 8c1cfa3(未 push)。

  3. JonasGao commented on Nov 5, 2026

    @JonasGao
    CollaboratorAuthor

    补充(外部一手资料 + 追加实测,follow-up commit df086cb):

    • 可空 JSON 列必须显式 pointer: true:emit_pointers_for_null_types 不作用于显式 go_type 字符串写法;裸 json.RawMessage 扫 NULL 会报 unsupported Scan ... <nil> into type *jsontext.Value。7 个可空 JSON 列用 *json.RawMessage,4 个 NOT NULL 列用 json.RawMessage。
    • chi middleware.RequestID 不写响应头:v5.5.0 源码只做 context.WithValue,且不是 W3C traceparent 语义;trace 响应头仍需自定义中间件。
    • 另补充 sqlc 已知问题引用:反引号 #3800、UPSERT 命名参数 #3508、解析器重写 PR #4535(未发版)。

    分支 research/go-datastack-workflow 现为 8c1cfa3 + df086cb(未 push)。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions