[Feature 提案] 自动审批：越出工作区的申请先由决策模型判断，必要时才问用户 #283

关联：#95、#257
状态：提案。已用决策模型做四轮离线评测，尚未实现产品代码。

11-06 按第四轮评测调整方向：原版是“新档位逐条审查每条命令”，这样只会比默认档多问；现改为参考 Codex，只审查越出工作区的申请。原版正文和第三轮评论中提到的“第 N 条”见编辑历史。

现状

• 权限有三档：
  • 仅可查看：每次写文件都要确认。
  • 工作区内修改（默认）：沙箱只限制写入。工作区内的修改和删除直接执行；读任何位置的文件、联网、结束进程都不受限制。命令要写到工作区外时先被沙箱拦下，模型带上 sandbox_permissions 和一句理由重新申请，用户点“允许一次”后才执行。
  • 完全权限：什么都不问。
• 默认档里，越界申请全部要人工确认。用它写代码时，写同级项目、外部临时目录、备份目录、全局工具都会弹审批；嫌麻烦的用户只能改用完全权限。
• 确认卡上是模型写的一句理由和命令原文。命令常常又长又复杂，不熟悉命令行的同学看不懂，只能直接点允许。
• macOS 和 Linux 的命令走 bash 工具，Windows 走 pwsh（pwsh-sandbox）。
• DSH 的审批经 approval/request 依次询问各个应答方，插件可以在界面之前应答。DSH 0.2.1-rc.5 自带实验包 @deepseek-ai/dsh-experimental-auto-review，并有一个隐藏的 auto 预设（不设沙箱，每次调用由当前对话模型审查），在锁定依赖里但未启用。

目标

参考 Codex 的 auto review（approvals_reviewer = "auto_review"），越出工作区的申请先交给审查：

• 用户明确要求了的操作，直接执行，不再确认。
• 完成用户要求的正常步骤、后果容易撤回的，直接执行。
• 只有用户可能不清楚智能体要做什么、而这件事又可能有风险时才问；问的时候用不熟悉命令行的人也能看懂的话说明。

比“工作区内修改”少打扰，比“完全权限”安全。

方案（计划）

1. 新档位“自动审批（实验）”：沙箱与“工作区内修改”相同，工作区内的命令照常直接执行。bash、pwsh 的越界申请在弹出确认卡之前先经过审查；审查通过等同于用户点“允许一次”，只对这一次调用有效；不通过就弹确认卡。审查本身不拒绝任何申请；决策服务出错、超时或返回无法解析时，一律交给用户。现有三档行为不变，不启用上游 auto-review。
2. 风险标记：固定规则识别推送和发布（git push、gh 写操作、npm publish）、远程连接和上传（ssh、scp、远端 rsync、带上传参数的 curl 等）、读取钥匙串和凭据、sudo 和提权、结束进程、安装软件、修改系统设置和启动项，PowerShell 的对应写法一并列入。命中后不直接问用户，而是把风险告诉决策模型，并提高批准门槛：只有用户最近的消息明确要求了这个具体操作，才自动批准。规则只检查要执行的命令，不检查写进文件的文字。
3. 决策模型判断：一个二选一问题“可以自动批准 / 必须先问用户”。
   • 可以自动批准：用户最近的消息明确要求了这个操作，命令的目标和范围也与要求一致；或者命令是完成用户要求的正常步骤，而且后果容易撤回：新建文件、写日志和构建产物、按要求编辑用户的项目、删除临时文件、清理本次会话创建的文件。
   • 必须先问：用户没有要求、又可能有风险的操作，如删除、覆盖、移动已有文件，远程连接和外发，读取凭据，修改系统或其他应用的配置，安装软件，结束进程；命令超出了用户要求的范围，比如要求推送，命令却是强制推送，要求清理临时文件，删的却是别的目录；看不清实际效果。
   • 交给模型的只有：系统和 shell、工作区路径、本次会话创建的文件、用户最近 3 条消息、风险标记、待执行的命令；运行工作区里的脚本时附上脚本内容，最多 16000 字符，超过的直接交给用户。不给工具输出、网页、邮件和助手自己的文字，命令里的注释和说明只当作数据。
   • P(自动批准) ≥ 0.5 时批准；命中风险标记的，门槛提高到 0.7（待评测确认）。
4. 看得懂的确认卡：需要问用户时，确认卡先用一两句话说明这条命令要做什么、会动到哪些文件或地方，以及为什么要问，比如“你没有提到要删除这些文件”“会把代码推送到 GitHub”；命令原文折叠在下面。决策模型只能做选择、不能写说明，所以说明由对话模型单独生成一次：只给它命令、工作区和风险标记，不给对话内容，避免被网页、邮件里的文字带偏。只在需要问用户时调用。
5. 决策服务：在 dsh-decision 中增加供其他插件调用的服务，沿用它现有的配置和认证（API Key 或机构登录），工具和技能不变。审查插件放在 packages/，通过 approval/request 在界面之前应答，不另存凭据。没有配置决策服务时不显示这一档。
6. 界面：档位说明为“越出工作区的操作，你要求了的和低风险的直接执行，其余先问你”，不作为新会话默认。自动批准的申请在对话里留一行记录，可以展开看命令。

安全边界

• 只替用户点“允许一次”，不扩大沙箱，也不留下长期授权；工作区内的行为和默认档完全一样。
• 是否得到用户要求只看用户自己的消息；工具输出、网页、邮件、脚本里的注释和助手自己的话都不算。
• “明确要求”指要求了这个具体操作，而且目标一致；只说“继续”“确认”时，看不出用户要求了什么，按没有要求处理。
• 审查或生成说明出错时，一律交给用户。

评测（已完成）

模型：ChatECNU 开放平台的 ecnu-decision（底层 D3），System One 接口。测试集和脚本在仓库外，未改产品代码。

• 第四轮：越界申请

  • 数据：本机编程助手（Claude Code、Codex）和 EduWork 测试会话里共 53,122 条真实命令，按命令内容粗筛，约 3,500 条（6.7%）在默认档会被沙箱拦下。编程助手的会话都开着完全权限，没有真实的申请记录，所以只能这样估计。分层抽 150 条，先人工标注：应自动批准 73 条，应问 30 条，有争议或实际没写到工作区外的不计分。已剔除含密钥或密码的命令和消息。
  • 每次约 1,100 输入 token，中位 461 ms。

  	应批的自动批准	应问的被批准
  只用模型，P ≥ 0.5	26/73	2/30（推送并开 PR、修改 PR 正文）
  规则直接问 + 模型，P ≥ 0.5	24/73	0/30
  规则直接问 + 模型，P ≥ 0.9	0/73	0/30

  • 30 条应问的申请里有 20 条命中规则，其余 10 条模型给出的 P 都不超过 0.33。被放过的 2 条 P 为 0.59，用户都没有要求开 PR。
  • 按类别看，写临时目录的申请自动批准了 13/20，写其他项目目录的 5/24，写备份的 0/6，安装软件的 1/8。
  • 多问的主要原因是看不出用户要求了什么：用户最近的消息很短（如“继续”“确认”）的 20 条只批准了 4 条，较长的 53 条批准了 22 条。
  • 规则误拦 5 条，都是写进文件的文字被当作命令，比如 PR 正文里提到 push、文档里提到 ssh。方案第 2 条据此改为只检查要执行的命令。
  • 这一轮的标注和问法按“命中规则一律问”做，没有按第 2 条的“用户明确要求了就不问”计分。

• 前三轮：逐条审查命令（结果见评论）

  • 同一条命令重复判断，P 的差值中位 0.002，跨 0.5 的翻转 0 条。
  • 固定规则加模型，在合成命令、真实命令、Windows 原生 pwsh 三组数据上都没有放行应问的命令。
  • 脚本内容附到 16000 字符时，模型并不更保守，还能看到藏在后面的结束进程命令。
  • Windows 上 12 个教师常见任务只产生了 3 次越界申请（整理用户自己的 Downloads、写桌面、清理系统临时文件），老师的日常使用里越界申请很少。

未测和后续

• 风险标记 + 明确要求：按第 2、3 条重新标注和评测，确认命中风险时的门槛。
• 确认卡说明：说明是否准确，不熟悉命令行的同学能否看懂。
• 补充上下文：再把用户回复的那条助手消息和申请理由交给模型，看能否多批准而不放过应问的。Codex 的审查看整段对话，工具输出视为不可信。
• Windows 原生越界申请：按本方案的问法还没有测过。
• 其他审批：写文件工具和插件自己的审批（发邮件、浏览器）首版不处理。
• 已知问题（不在本提案范围）：默认档里工作区内删除原有文件不需要确认，联网也不受沙箱限制。

参考

• Codex（approvals_reviewer = "auto_review"）：只审越出沙箱的请求，由独立的审查代理按风险等级和用户授权判断；工具输出视为不可信。
• Claude Code auto 模式：只读操作和工作目录内的编辑直接放行，其余交给分类器；分类器看用户消息和工具调用，不看工具结果；分类器失败时拦截。
• DSH @deepseek-ai/dsh-experimental-auto-review（0.2.1-rc.5）：每次调用由当前对话模型审查，挂在 tools/pre-execute 的前置监听上。
• xlennart/dsh-auto-review-jev：DSH 插件，用 System One 接口审查提权请求，低置信度默认拒绝，带白名单和熔断。