From 52852a2c5adab4906b798e7a0451beb1d59c4daf Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Thu, 12 Nov 2026 17:46:26 +0800 Subject: [PATCH 01/18] docs: record capability guidance investigation --- .../2026-11-12-capability-outcomes/plan.md | 106 ++++++++++++++++++ .../2026-11-12-capability-outcomes/prd.md | 56 +++++++++ .../2026-11-12-capability-outcomes/spec.md | 47 ++++++++ TaskFlowDocs/todo.md | 14 +++ 4 files changed, 223 insertions(+) create mode 100644 TaskFlowDocs/2026-11-12-capability-outcomes/plan.md create mode 100644 TaskFlowDocs/2026-11-12-capability-outcomes/prd.md create mode 100644 TaskFlowDocs/2026-11-12-capability-outcomes/spec.md diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md new file mode 100644 index 0000000..9a5a9fe --- /dev/null +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md @@ -0,0 +1,106 @@ +# Plan — 改善 TaskFlow 能力选择与问题解决效果 +> Task version: v1 +> Status: planning + +## Spec Pointers + +- `spec.md`:已记录证据边界、三个候选方向及受控验证要求;尚未选定实施方案。 + +## Reference Pointers + +- `TaskFlowDocs/achieved/2026-11-07-repro-requirement/`:原修复的机制和机械验收。 +- `TaskFlowDocs/achieved/2026-11-10-codex-tool-guidance/`:真实失败案例与非阻断提示的验证边界。 +- `hooks/hooks-codex.json`、`hooks/capability-gate`、`hooks/prompt-reminder`、`evals/README.md`。 +- `TaskFlowDocs/repository-docs/index.md`、`CONTRIBUTING.md`、`CODE_STYLE.md`。 + +## Related Tasks + +- `TF-20261112-8dd98e`:仓库代码版本提交回退点,用户确认分开、关联并独立验收。 +- `TF-20261110-0c7346`:既有真实宿主验证任务;报告交叉范围,不擅自修改。 +- `TF-20261110-84d1a9`:流程与 Token 审视;不擅自修改。 +- `TF-20261107-5c5ee2` 和 `TF-20261110-a56e72`:已完成的历史调查,需复核其交付有效性。 + +## Skills / Tools Used + +- [PRD] Declared `agent-skills:debugging-and-error-recovery` — purpose: 重建真实失败、定位所属层;outcome: 区分记录、提示和模型行为;incorporated: 背景与验收。声明不表示宿主自动观测。 +- [Plan] Declared `agent-skills:planning-and-task-breakdown` — purpose: 按依赖拆分调查、验证和改进;outcome: 区分可观测机制与行为验证;incorporated: 调查步骤。声明不表示宿主自动观测。 +- [Spec] Unaided — 根据已读取源码和已调用技能的调查结果整理候选和边界;considered: architecture and design。阶段记录在首稿之后补录,不能声称写作前已通过门禁。 +- [Test] Unaided — 制定真实行为与隔离验证口径;considered: testing strategy。 + +## Preconditions + +- 工作区 `C:/Users/hk/.codex/worktrees/task-version-commits/TaskFlow`;分支 `fix/taskflow-capability-outcomes`。 +- 计划及具体方案须经用户批准后实施。 + +## Plan Review + +- Verdict: needs revision +- Coverage: 待真实行为基线和候选机制确定后审核。 +- Verifiability: 自动审批拒绝真实模型基线,不能假设真实行为已经验证。 +- Layer ownership: 须区分宿主事件、模型选择及最终问题解决,避免只做标记。 + +## Approval + +- Status: requested +- Approved by: pending +- Approved at: pending +- Approved version: pending +- Approved scope: pending + +## Steps + +### Step 1 — 复核既有案例与真实行为基线 + +- Goal: 用历史记录和合适的实际宿主试验定位问题,记录能力选择、调查和产物。 +- Dependencies: 用户批准了必要真实模型验证;实际测试的发送范围和目的地仍受自动审批约束。 +- Files: 当前任务文档和必要的脱敏样本。 +- Implementation checklist: + - [x] 对照本次失败、digdig 历史案例与旧任务测试范围。 + - [ ] 明确真实测试的数据边界并获得必要授权,执行可复核基线。 + - [ ] 归纳已证实原因与待验证假设。 +- Acceptance: 每条结论有证据来源和限制;不把离线字符串测试描述为模型测试。 +- Verification: 复核事件、工具调用和实际产物。 +- Rollback: 更正任务记录,不改写历史会话。 +- Status: in_progress + +### Step 2 — 形成候选设计与评估计划 + +- Goal: 对比提醒、工具接口、宿主覆盖与必要的门禁,选择真正改善结果的方案。 +- Dependencies: Step 1 基线或明确的证据限制。 +- Files: `spec.md`、`plan.md`。 +- Implementation checklist: + - [ ] 比较改动位置与副作用,列出明确可证伪的测试。 + - [ ] 计划审查后提交用户批准,再实施产品改动。 +- Acceptance: 能覆盖实际问题而非仅生成标记;不擅自增加阻断。 +- Verification: 回看原始需求并对照真实案例。 +- Rollback: 修改设计记录。 +- Status: pending + +## Checkpoints + +方案批准前不修改产品实现。 + +## Verification / Review + +- 已读取调试和规划技能。规划技能默认要求 `tasks/plan.md` 与 `tasks/todo.md`;TaskFlow 将现有任务目录的 `plan.md` 和 `TaskFlowDocs/todo.md` 定为唯一事实源。因此采用规划技能的拆解方法、将内容写回 TaskFlow 文件,不额外创建第二套计划。该整合方式是依据两份指令作出的处理,尚未通过真实宿主端到端验证。 +- `hooks/task approve` 源码明确说只验证 Plan Review 字段是否有答案,不能判断答案质量;真实缺陷调查和计划质量不能等同于字段齐全。 +- 真实模型测试原先遭自动审批拒绝;用户随后同意向 Codex 模型服务发送测试提示、TaskFlow 规则和测试读取的仓库内容。 +- 首次启动显示 provider=custom,立即中断;测试提示可能已发送,提供方的实际地址未知,未确认模型读取仓库内容。 +- 显式使用 provider=openai 的只读试验中,模型实际读取调试与规划技能;提示明确要求检查这些技能,因此不能验证 TaskFlow 本身是否促成调用。启动时部分 hook 失败,模型列表刷新超时。 +- 该模型还检索了授权范围之外的本机记忆文件;发现后立即中断,检索结果可能已发送给 OpenAI 模型服务。未进一步重复,真实测试数据边界需要可执行的隔离保障。 +- `python evals/runner.py`:PASS (6 evals);逐读 runner 确认这些是关键字和静态 fixture 检查,不能证明模型行为。 +- `hooks/capability-evidence` 将 `mcp__*` 均记为调用,`hooks/capability-gate` 按先进先出把记录释放给写入的阶段;代码注释明确承认阶段归属不能从队列还原。由此只能判断事件被记录,不能判断能力相关性或实际结果。 +- 查询了本机 CLI 功能开关:存在 shell_tool、unified_exec 等开关,但尚未证明禁用后能完全阻止通过其他工具读取本机数据;未再次启动模型。 +- WSL Ubuntu 的用户/挂载命名空间可用于隔离 Linux 进程,但现有 pnpm 安装仅发现 `codex-win32-x64`,未发现 Linux 原生运行时;不能把 WSL 中启动 Windows 进程当作受 Linux 文件系统隔离。凭据必须同时与模型可调用工具隔离。 + +## Change Log + +- 2026-11-12:用户确认分成两个关联任务,允许必要真实模型验证,先实测再决定机制;明确允许上述仓库数据发送,试验发生范围外读取并已中断。 + +## Follow-ups + +真实宿主验证与既有 TF-20261110-0c7346 的边界待后续确认。 + +## Version History + +- v1 — planning;需先形成可验证隔离和行为对照,再选择方案。 diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md b/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md new file mode 100644 index 0000000..ac86e35 --- /dev/null +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md @@ -0,0 +1,56 @@ +# 改善 TaskFlow 能力选择与问题解决效果 +> Task version: v1 +> Status: planning + +## Goal + +调查并改善 TaskFlow 在开发任务中选择适用能力、调查真实问题和审查计划的效果,避免把流程标记当成问题已解决。 + +## Task Kind + +- Kind: defect + +## Background / Confirmed Facts + +- 用户要求同时推进仓库版本提交与本任务,两个任务分别验收。 +- 当前会话中,promote 已提醒考虑能力,但 Agent 直接声明 unaided、用 Python 写文档,且计划审查结论未经充分复核。 +- 历史 digdig 会话有类似批量写文档后被用户指出缺少调查和计划审查的记录;同一会话也有后来读取规划技能的记录。 +- 2026-11-07 repro-requirement 的验证主要检查种类、词汇与审批记录,不证明模型找到了真实根因。 +- Codex 配置的写前能力门只匹配 apply_patch;离线 evals 不调用模型。机械测试不等于真实模型行为验证。 +- 2026-11-12 启动只读 Codex 模型基线被自动审批拒绝:可能把仓库内容发送到模型服务,未明确输入范围及目的地。未通过其他方式绕过。 + +## Requirements + +- 从历史失败案例和现行实现重建复现条件,区分模型行为、提醒送达、宿主覆盖、记录校验与真实结果。 +- 比较现有机制与候选方案,先实测再选择是否需要阻断;不把增添字段、标记或通过字符串测试当作最终效果。 +- 衡量真实能力选择、实际调查、计划与原始问题的对应、最终产物;把工具调用与实际贡献分开。 +- 尊重用户授权:必要时可运行真实模型验证,具体发送内容与目标受自动审批约束;不外传私人数据或整个仓库。 +- 保留 TaskFlow 固定标题及用户可用其他能力的自由,不强制凭名称调用无关能力。 + +## Acceptance Criteria + +- 给出可复查的失败案例和根因或明确区分未证实假设,不把提示送达当采纳。 +- 已确认的机制变更覆盖实际行为;提供真实案例或经允许的真实宿主对照,若不可运行不得声称效果已验证。 +- 机械测试覆盖修改契约、异常和宿主边界,但不能替代模型和产物检查。 +- 对既有归档成果和真实宿主验证待办说明关系;不擅自关闭或改写其他任务。 + +## External Facts + +- Depends on external facts: no +- Why not: 当前事实来自本仓库实现和用户授权的历史会话;若方案依赖宿主外部契约再重新评估。 + +## In Scope + +能力选择、模型实际调查与审查、提示和验证方式;历史标记式修复的有效性复核。 + +## Out of Scope + +代替用户实现其他任务的功能、未经验证强制增加标记、泄露仓库或私人上下文。 + +## Risks / Deferred Items + +模型表现非确定性;单次测试不能证明因果或普遍有效。真实模型测试的发送范围及目的地目前未通过自动审批。 + +## Open Questions + +待解决真实模型测试数据授权及批准;方案待实证后选择。 diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/spec.md b/TaskFlowDocs/2026-11-12-capability-outcomes/spec.md new file mode 100644 index 0000000..5ad75c0 --- /dev/null +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/spec.md @@ -0,0 +1,47 @@ +# Spec — 能力选择与真实问题解决调查 +> Task version: v1 + +## Objective and Success Criteria + +让开发阶段真正使用适合当前问题的能力并解决用户问题;不能用填写字段、调用无关工具或测试字符串替代行为验证。 + +## Architecture Boundaries and Responsibilities + +- 宿主事件只能证明事件到达及记录,不能单独证明能力相关、被采纳或修复成功。 +- TaskFlow 负责阶段路由与有界提示;专家能力负责具体调查和规划;评估由独立的真实案例和产物检查完成。 +- Codex `apply_patch` 与通过 shell / Python 写文件走不同事件路径;不得把某一工具上的门禁宣称成所有写入的强制保证。 + +## Project Structure / Affected Files + +调查范围:`hooks/prompt-reminder`、`hooks/capability-evidence`、`hooks/capability-gate`、`hooks/hooks-codex.json`、`skills/taskflow/SKILL.md` 和现有测试;具体修改须依据验证结果确定。 + +## Interfaces, Data Flow, and Contracts + +当前机制观察:`capability-evidence` 接受 `mcp__*` 事件;`capability-gate` 按队列先后匹配阶段。事件与阶段意图及产物贡献没有一一对应,允许 unaided,审批检查审查字段完整性而非结论正确性。不能将这些机制视为真实能力选择或问题修复的证明。 + +规划技能默认输出 `tasks/plan.md`;TaskFlow 把任务目录的 `plan.md` 作为事实源。采用技能的方法时将有效内容纳入 TaskFlow 的指定文档,保留被 hooks 匹配的标题和字段,不另造竞争文档。 + +## Invariants and Compatibility + +不从任意事件推断模型内部动机;不声称所有宿主事件行为相同;不改变仓库外的个人配置。未获真实效果证据之前,不把提示或强制字段作为最终修复。 + +## Validation and Error Semantics + +基线包括本次遗漏能力的真实会话与 digdig 原始案例。后续受控实验要固定任务、模型、工具可用性、提示和宿主,比较具体任务的能力选择、根因证据、计划可执行性与产物;必须记录实际调用、提示到达、错误、结果和盲评口径。至少包含无需外部能力的简单对照,不能强迫所有任务调用技能。一次提示主动要求读技能的运行不构成引导效果验证。 + +真实模型测试前须由操作系统限制文件读取,仅向 OpenAI 模型服务提供获准的测试材料和仓库数据。普通 read-only 沙箱仍允许读取本机记忆,不能作为隔离证明;Windows 二进制由 WSL 互操作启动不能假设被 Linux mount namespace 隔离;凭据也不能被模型工具读取或输出。无法证实边界时不得启动。 + +## Code and Test Constraints + +定向测试事件形状与脚本入口,真实行为测试必须独立于标记字段;所有夹具保留或按用户许可清理。 + +## Design Decisions and Alternatives + +- 候选 A:加强当前阶段的能力选择提示。成本较小,但需实测是否改变选择与产物,不能仅比较提示字符串。 +- 候选 B:提高调用和阶段的对应准确性。可以减少错配,但仍不能证明调用有用,单独实施只会增加流程标记。 +- 候选 C:改变模型与流程交互方式,把确定性操作交由程序负责。可能降低复杂度,但须先定位真实摩擦,不预设改造。 +- 硬门禁:可能阻断无适合能力的场景;用户要求先实测再决定,不预设增加。 + +## Open Questions + +缺少可同时限制文件读取和凭据暴露的真实宿主隔离运行环境;当前 WSL 只有 Windows 版 Codex 包,不能证明 Linux 隔离包住 Windows 进程。候选方案尚未决定。 diff --git a/TaskFlowDocs/todo.md b/TaskFlowDocs/todo.md index 022d8c9..bd2c682 100644 --- a/TaskFlowDocs/todo.md +++ b/TaskFlowDocs/todo.md @@ -35,6 +35,20 @@ has an issue number or URL. +## 调查并修复 TaskFlow 能力选择与计划审查未解决实际问题,复 + +- ID: TF-20261112-21a0ce +- Status: promoted +- Priority: normal +- Owner: Unknown +- Source: user:2026-11-12 +- Kind: defect +- Added: 2026-11-12 +- Updated: 2026-11-12 +- Goal: 调查并修复 TaskFlow 能力选择与计划审查未解决实际问题,复核流程标记式修复并以真实行为验证 +- Task: `TaskFlowDocs/2026-11-12-capability-outcomes/` +- Next action: Complete PRD / Spec / Plan and request approval. + ## 在真实 GitHub PR 中验证已合并的文档跟进 CI 复用及失败回退 - ID: TF-20261110-8c4e24 From 0dfe57bfcdcae3c47ccd5c5dd06b76619defe6f0 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Thu, 12 Nov 2026 19:38:09 +0800 Subject: [PATCH 02/18] fix: guide capability selection throughout task work --- hooks/prompt-reminder | 10 +++++++--- hooks/smoke-test | 14 +++++++++----- skills/taskflow/SKILL.md | 2 +- 3 files changed, 17 insertions(+), 9 deletions(-) diff --git a/hooks/prompt-reminder b/hooks/prompt-reminder index c5bdc8f..55d2002 100644 --- a/hooks/prompt-reminder +++ b/hooks/prompt-reminder @@ -116,6 +116,8 @@ escape_for_json() { # nothing when a task is in flight (the four-line reminder below owns that # case). It never refuses anything: `--task` says a hard gate belongs at # `PreToolUse`, and the user chose this delivery instead. +capability_guidance='Before substantive work, match the current work against available capability descriptions (skills, tools, MCP, agents). If a capability fits, read or invoke it through the host and review its result; otherwise work unaided.' + entrance_reminder() { local ctx case "$(printf '%s\n' "$summary" | sed -n '1p')" in @@ -126,8 +128,9 @@ entrance_reminder() { If this instruction asks you to change this repository or deliver a development artifact, record it first — these two commands, in this order: bash hooks/task intake "" git worktree add .worktrees/ -b / -For development tasks, consider available capabilities (skills, tools, MCP, agents) for the current phase; use those that help, or work unaided. Read-only work — explanation, translation, status, research, review, diagnosis — needs neither. If the work is already recorded elsewhere, say where and continue.' + ctx="$ctx +For development tasks: $capability_guidance" printf '{\n "hookSpecificOutput": {\n "hookEventName": "UserPromptSubmit",\n "additionalContext": "%s"\n }\n}\n' "$(escape_for_json "$ctx")" exit 0 } @@ -165,7 +168,7 @@ phase="${phase#* | }" phase="${phase%% *}" if [ "$phase" = planning ]; then ctx="$line -For this development task, consider available capabilities (skills, tools, MCP, agents) for the current phase; use those that help, or work unaided." +$capability_guidance" printf '{\n "hookSpecificOutput": {\n "hookEventName": "UserPromptSubmit",\n "additionalContext": "%s"\n }\n}\n' "$(escape_for_json "$ctx")" exit 0 fi @@ -319,7 +322,8 @@ ${conflicts}" ;; fi fi -context="$line${reinforce_line:+ +context="$line +$capability_guidance${reinforce_line:+ $reinforce_line}${rules_line:+ $rules_line} Searching is allowed: if this step needs a fact from outside this repository — a version, a spec, another project's behaviour — go and look, with any tool. The lookup is recorded for you. diff --git a/hooks/smoke-test b/hooks/smoke-test index 7b9f320..e9fda06 100755 --- a/hooks/smoke-test +++ b/hooks/smoke-test @@ -7259,6 +7259,9 @@ printf '%s\n' "$rem_line" | grep -q -F -- "$(sed -n 's/^- \(2026-10-22-demo | v1 printf '%s\n' "$rem_line" | grep -q -F 'approval: approved' || { echo "FAIL reminder omits approval"; exit 1; } printf '%s\n' "$rem_line" | grep -q -F 'next: Step 1 First' || { echo "FAIL reminder omits the next Step"; exit 1; } printf '%s\n' "$rem_ctx" | grep -q -F 'change event' || { echo "FAIL reminder does not ask for classification"; exit 1; } +for rem_expected in 'available capability descriptions' 'read or invoke' 'work unaided'; do + printf '%s\n' "$rem_ctx" | grep -q -F "$rem_expected" || { echo "FAIL in_progress reminder omits $rem_expected"; exit 1; } +done # The permission to search belongs here rather than only in the skill: the pause # points are three moments, and a Step that discovers mid-run that it needs a fact # outside the repository is between them. Read as a field so an escaped copy in @@ -7268,8 +7271,9 @@ printf '%s\n' "$rem_ctx" | grep -q -F 'Searching is allowed' \ # `checking` is still in flight -- verification runs there and a defect found in # it is the same case. write_rem_plan checking -rem_event "$rem_repo" | bash "$HERE/prompt-reminder" | grep -q -F 'additionalContext' \ - || { echo "FAIL reminder silent while checking"; exit 1; } +rem_check_ctx="$(rem_event "$rem_repo" | bash "$HERE/prompt-reminder" | bash "$HERE/json-field" hookSpecificOutput.additionalContext)" +printf '%s\n' "$rem_check_ctx" | grep -q -F 'available capability descriptions' \ + || { echo "FAIL checking reminder omits capability guidance"; exit 1; } echo ok echo "== prompt-reminder is silent outside the window where drift happens ==" @@ -7362,16 +7366,16 @@ printf '%s\n' "$ent_ctx" | grep -q -F 'git worktree add' \ # has to be read and dismissed on every prompt is one a reader learns to skip. printf '%s\n' "$ent_ctx" | grep -q -F 'Read-only work' \ || { echo "FAIL entrance reminder does not exempt read-only work"; exit 1; } -printf '%s\n' "$ent_ctx" | grep -q -F 'available capabilities' \ +printf '%s\n' "$ent_ctx" | grep -q -F 'available capability descriptions' \ || { echo "FAIL entrance reminder omits capability guidance"; exit 1; } # A planning task receives a shorter phase-specific capability reminder. mkdir -p "$ent_repo/TaskFlowDocs/2026-11-04-demo" printf '# Plan - demo\n> Task version: v1\n> Status: planning\n' \ > "$ent_repo/TaskFlowDocs/2026-11-04-demo/plan.md" ent_planning="$(ent_event "$ent_repo" | bash "$HERE/prompt-reminder" | bash "$HERE/json-field" hookSpecificOutput.additionalContext)" -printf '%s\n' "$ent_planning" | grep -q -F 'available capabilities' \ +printf '%s\n' "$ent_planning" | grep -q -F 'available capability descriptions' \ || { echo "FAIL planning reminder omits capability guidance"; exit 1; } -[ "$(printf '%s\n' "$ent_planning" | grep -c -F 'available capabilities')" -eq 1 ] \ +[ "$(printf '%s\n' "$ent_planning" | grep -c -F 'available capability descriptions')" -eq 1 ] \ || { echo "FAIL planning reminder repeated capability guidance"; exit 1; } printf '# Plan - demo\n> Task version: v1\n> Status: ready\n' > "$ent_repo/TaskFlowDocs/2026-11-04-demo/plan.md" rem_silent "a ready task" "$(ent_event "$ent_repo")" diff --git a/skills/taskflow/SKILL.md b/skills/taskflow/SKILL.md index 7a26636..e87b7aa 100644 --- a/skills/taskflow/SKILL.md +++ b/skills/taskflow/SKILL.md @@ -174,7 +174,7 @@ A phase's artifact has an equivalent outside TaskFlow. TaskFlow names these itse | --- | --- | --- | --- | | 1. Define — PRD | `prd.md` | requirements elicitation and framing; divergent exploration; root cause; defect investigation | expanding a vague goal into several directions before converging on one, interviewing the user, refining a vague idea into testable requirements, writing a requirements document; and, when the request is to fix something already wrong, finding out why it is wrong before writing what should be true instead | | 2. Research — Reference | `reference/` | literature and evidence review | searching external sources, assessing evidence quality, annotating findings | -| 3. Design — Spec decision | `spec.md`, or the recorded `No spec required` | architecture and design specification | methodology or architecture design, interface/contract definition | +| 3. Design — Spec decision | `spec.md`, or the recorded `No spec required` | architecture and design specification | writing or reviewing technical specifications and testable acceptance criteria, methodology or architecture design, interface/contract definition | | 4. Plan — execution contract | `plan.md` | work breakdown and task decomposition | decomposing work into verifiable steps, sequencing dependencies, estimating | | 5. Build — implement by Plan | the change itself | incremental implementation | language and framework conventions, pattern guidance for the code being written | | 6. Verify and review | acceptance and findings | testing strategy and code review | designing or writing tests, adversarial review, security or performance review | From 4e039123a1e02e40443e775e770729fe92bb50e3 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Thu, 12 Nov 2026 19:45:21 +0800 Subject: [PATCH 03/18] fix: preserve existing reminder layout --- hooks/prompt-reminder | 5 ++--- 1 file changed, 2 insertions(+), 3 deletions(-) diff --git a/hooks/prompt-reminder b/hooks/prompt-reminder index 55d2002..35f225f 100644 --- a/hooks/prompt-reminder +++ b/hooks/prompt-reminder @@ -322,11 +322,10 @@ ${conflicts}" ;; fi fi -context="$line -$capability_guidance${reinforce_line:+ +context="$line${reinforce_line:+ $reinforce_line}${rules_line:+ $rules_line} -Searching is allowed: if this step needs a fact from outside this repository — a version, a spec, another project's behaviour — go and look, with any tool. The lookup is recorded for you. +$capability_guidance Searching is allowed: if this step needs a fact from outside this repository — a version, a spec, another project's behaviour — go and look, with any tool. The lookup is recorded for you. This instruction is a TaskFlow change event and must be classified before you act on it: does it change what this task promised to deliver, or only how it is delivered? If it changes the promise, archive this Task version, bump every core document to vN+1, and return the task to ready for re-approval. Otherwise it is a work revision: update the affected documents and add one line to the Plan change log. When it is not obvious, take the work revision." From 89754ddb58c31859a948e30049e2aa8e02d9dce1 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 09:47:50 +0800 Subject: [PATCH 04/18] fix: launch Codex hooks reliably on Windows --- hooks/hooks-codex.json | 14 +++++++------- hooks/smoke-test-windows.ps1 | 16 ++++++++++++++++ 2 files changed, 23 insertions(+), 7 deletions(-) diff --git a/hooks/hooks-codex.json b/hooks/hooks-codex.json index 20ae0b6..dd17b80 100644 --- a/hooks/hooks-codex.json +++ b/hooks/hooks-codex.json @@ -8,7 +8,7 @@ { "type": "command", "command": "bash \"${PLUGIN_ROOT}/hooks/session-start\"", - "commandWindows": "\"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" session-start" + "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" session-start" } ] } @@ -19,7 +19,7 @@ { "type": "command", "command": "bash \"${PLUGIN_ROOT}/hooks/capability-evidence\"", - "commandWindows": "\"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" capability-evidence" + "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" capability-evidence" } ] } @@ -30,7 +30,7 @@ { "type": "command", "command": "bash \"${PLUGIN_ROOT}/hooks/prompt-reminder\"", - "commandWindows": "\"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" prompt-reminder" + "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" prompt-reminder" } ] } @@ -42,7 +42,7 @@ { "type": "command", "command": "bash \"${PLUGIN_ROOT}/hooks/capability-gate\"", - "commandWindows": "\"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" capability-gate" + "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" capability-gate" } ] } @@ -54,7 +54,7 @@ { "type": "command", "command": "bash \"${PLUGIN_ROOT}/hooks/capability-evidence\"", - "commandWindows": "\"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" capability-evidence" + "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" capability-evidence" } ] }, @@ -64,7 +64,7 @@ { "type": "command", "command": "bash \"${PLUGIN_ROOT}/hooks/base-status-reminder\"", - "commandWindows": "\"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" base-status-reminder", + "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" base-status-reminder", "async": true } ] @@ -74,7 +74,7 @@ { "type": "command", "command": "bash \"${PLUGIN_ROOT}/hooks/external-evidence\"", - "commandWindows": "\"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" external-evidence" + "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" external-evidence" } ] } diff --git a/hooks/smoke-test-windows.ps1 b/hooks/smoke-test-windows.ps1 index 93220f7..faaab21 100755 --- a/hooks/smoke-test-windows.ps1 +++ b/hooks/smoke-test-windows.ps1 @@ -75,6 +75,22 @@ try { } 'WINDOWS SCRIPT IS ASCII' + # Exercise the configured commands, not only the launcher invoked directly. + $codexHooks = [IO.File]::ReadAllText((Join-Path $here 'hooks-codex.json')) | ConvertFrom-Json + foreach ($event in $codexHooks.hooks.PSObject.Properties) { + foreach ($group in $event.Value) { + foreach ($handler in $group.hooks) { + $configured = $handler.commandWindows.Replace('${PLUGIN_ROOT}', (Split-Path -Parent $here)) + $encoded = [Convert]::ToBase64String([Text.Encoding]::Unicode.GetBytes($configured)) + $shellOutput = '{}' | & powershell.exe -NoProfile -NonInteractive -EncodedCommand $encoded 2>&1 + if ($LASTEXITCODE -ne 0) { throw "Codex Windows hook $($event.Name) failed to launch: $shellOutput" } + $shellOutput = '{}' | & cmd.exe /d /s /c $configured 2>&1 + if ($LASTEXITCODE -ne 0) { throw "Codex cmd hook $($event.Name) failed to launch: $shellOutput" } + } + } + } + 'CODEX WINDOWS HOOK COMMANDS PASSED' + $launcherArgs = @('space value', ([string]([char]0x4E2D) + [char]0x6587), 'quoted value', 'four', 'five', 'six', 'seven', 'eight', 'nine', 'ten') $launcherOutput = @(& "$here\run-hook.cmd" smoke-test --echo-args @launcherArgs 2>&1) if ($LASTEXITCODE -ne 0) { throw "Launcher argument check failed: $launcherOutput" } From c73435c99f590e70b292f26029ea2a27188c1dfb Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 10:43:59 +0800 Subject: [PATCH 05/18] fix: guide task-specific capability selection --- hooks/prompt-reminder | 2 +- hooks/smoke-test | 2 +- 2 files changed, 2 insertions(+), 2 deletions(-) diff --git a/hooks/prompt-reminder b/hooks/prompt-reminder index 35f225f..6881013 100644 --- a/hooks/prompt-reminder +++ b/hooks/prompt-reminder @@ -116,7 +116,7 @@ escape_for_json() { # nothing when a task is in flight (the four-line reminder below owns that # case). It never refuses anything: `--task` says a hard gate belongs at # `PreToolUse`, and the user chose this delivery instead. -capability_guidance='Before substantive work, match the current work against available capability descriptions (skills, tools, MCP, agents). If a capability fits, read or invoke it through the host and review its result; otherwise work unaided.' +capability_guidance='Before substantive work, match the current work against available capability descriptions (skills, tools, MCP, agents). Consider task-specific expertise as well as lifecycle guidance: for example, research, specification, work breakdown, implementation, testing, review or decision records, as relevant to this work. If a capability fits, read or invoke it through the host and review its result; otherwise work unaided.' entrance_reminder() { local ctx diff --git a/hooks/smoke-test b/hooks/smoke-test index e9fda06..bb0b8e8 100755 --- a/hooks/smoke-test +++ b/hooks/smoke-test @@ -7259,7 +7259,7 @@ printf '%s\n' "$rem_line" | grep -q -F -- "$(sed -n 's/^- \(2026-10-22-demo | v1 printf '%s\n' "$rem_line" | grep -q -F 'approval: approved' || { echo "FAIL reminder omits approval"; exit 1; } printf '%s\n' "$rem_line" | grep -q -F 'next: Step 1 First' || { echo "FAIL reminder omits the next Step"; exit 1; } printf '%s\n' "$rem_ctx" | grep -q -F 'change event' || { echo "FAIL reminder does not ask for classification"; exit 1; } -for rem_expected in 'available capability descriptions' 'read or invoke' 'work unaided'; do +for rem_expected in 'available capability descriptions' 'task-specific expertise' 'read or invoke' 'work unaided'; do printf '%s\n' "$rem_ctx" | grep -q -F "$rem_expected" || { echo "FAIL in_progress reminder omits $rem_expected"; exit 1; } done # The permission to search belongs here rather than only in the skill: the pause From 4c76825afbf37f53be34f5ed590c76f9e20c4821 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 10:58:07 +0800 Subject: [PATCH 06/18] test: keep Windows smoke fixtures within test root --- hooks/smoke-test-windows.ps1 | 31 +++++++++++++++++-------------- 1 file changed, 17 insertions(+), 14 deletions(-) diff --git a/hooks/smoke-test-windows.ps1 b/hooks/smoke-test-windows.ps1 index faaab21..7d6f8e1 100755 --- a/hooks/smoke-test-windows.ps1 +++ b/hooks/smoke-test-windows.ps1 @@ -75,21 +75,23 @@ try { } 'WINDOWS SCRIPT IS ASCII' - # Exercise the configured commands, not only the launcher invoked directly. - $codexHooks = [IO.File]::ReadAllText((Join-Path $here 'hooks-codex.json')) | ConvertFrom-Json - foreach ($event in $codexHooks.hooks.PSObject.Properties) { - foreach ($group in $event.Value) { - foreach ($handler in $group.hooks) { - $configured = $handler.commandWindows.Replace('${PLUGIN_ROOT}', (Split-Path -Parent $here)) - $encoded = [Convert]::ToBase64String([Text.Encoding]::Unicode.GetBytes($configured)) - $shellOutput = '{}' | & powershell.exe -NoProfile -NonInteractive -EncodedCommand $encoded 2>&1 - if ($LASTEXITCODE -ne 0) { throw "Codex Windows hook $($event.Name) failed to launch: $shellOutput" } - $shellOutput = '{}' | & cmd.exe /d /s /c $configured 2>&1 - if ($LASTEXITCODE -ne 0) { throw "Codex cmd hook $($event.Name) failed to launch: $shellOutput" } + if ($env:TASKFLOW_STDIN_SELFCHECK -ne '1') { + # Exercise the configured commands, not only the launcher invoked directly. + $codexHooks = [IO.File]::ReadAllText((Join-Path $here 'hooks-codex.json')) | ConvertFrom-Json + foreach ($event in $codexHooks.hooks.PSObject.Properties) { + foreach ($group in $event.Value) { + foreach ($handler in $group.hooks) { + $configured = $handler.commandWindows.Replace('${PLUGIN_ROOT}', (Split-Path -Parent $here)) + $encoded = [Convert]::ToBase64String([Text.Encoding]::Unicode.GetBytes($configured)) + $shellOutput = '{}' | & powershell.exe -NoProfile -NonInteractive -EncodedCommand $encoded 2>&1 + if ($LASTEXITCODE -ne 0) { throw "Codex Windows hook $($event.Name) failed to launch: $shellOutput" } + $shellOutput = '{}' | & cmd.exe /d /s /c $configured 2>&1 + if ($LASTEXITCODE -ne 0) { throw "Codex cmd hook $($event.Name) failed to launch: $shellOutput" } + } } } + 'CODEX WINDOWS HOOK COMMANDS PASSED' } - 'CODEX WINDOWS HOOK COMMANDS PASSED' $launcherArgs = @('space value', ([string]([char]0x4E2D) + [char]0x6587), 'quoted value', 'four', 'five', 'six', 'seven', 'eight', 'nine', 'ten') $launcherOutput = @(& "$here\run-hook.cmd" smoke-test --echo-args @launcherArgs 2>&1) @@ -198,7 +200,7 @@ try { $planningReminder = Invoke-Hook 'prompt-reminder' $planningEvent if ($planningReminder.Exit -ne 0) { throw 'planning reminder failed' } $planningContext = ($planningReminder.Output | ConvertFrom-Json).hookSpecificOutput.additionalContext - if ($planningContext -notmatch 'available capabilities') { throw 'planning capability guidance missing on Windows' } + if ($planningContext -notmatch 'available capability descriptions' -or $planningContext -notmatch 'task-specific expertise') { throw 'planning capability guidance missing on Windows' } $prdPath = Join-Path $gateTask 'prd.md' $specPath = Join-Path $gateTask 'spec.md' @@ -344,7 +346,8 @@ try { $self = $MyInvocation.MyCommand.Path $psi = New-Object Diagnostics.ProcessStartInfo $psi.FileName = (Get-Command powershell.exe).Source - $psi.Arguments = '-NoProfile -ExecutionPolicy Bypass -File "' + $self + '"' + $childRoot = Join-Path $Root 'stdin-selfcheck' + $psi.Arguments = '-NoProfile -ExecutionPolicy Bypass -File "' + $self + '" -Root "' + $childRoot + '"' $psi.RedirectStandardInput = $true # a pipe nobody writes or closes $psi.RedirectStandardOutput = $true $psi.RedirectStandardError = $true From fceeef5ec2e1b169a9e0a8bda40f0080d23b6689 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 11:38:48 +0800 Subject: [PATCH 07/18] docs: record capability guidance verification --- .../2026-11-12-capability-outcomes/plan.md | 173 +++++++++++++++--- .../2026-11-12-capability-outcomes/prd.md | 16 +- .../2026-11-12-capability-outcomes/spec.md | 32 +++- TaskFlowDocs/todo.md | 16 +- 4 files changed, 200 insertions(+), 37 deletions(-) diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md index 9a5a9fe..3a6b79b 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md @@ -1,10 +1,10 @@ # Plan — 改善 TaskFlow 能力选择与问题解决效果 > Task version: v1 -> Status: planning +> Status: in_progress ## Spec Pointers -- `spec.md`:已记录证据边界、三个候选方向及受控验证要求;尚未选定实施方案。 +- `spec.md`:建议通过既有提示和阶段概念改善能力发现,保留 unaided 与现有门禁,七阶段分别验证能力选择和实际产物。 ## Reference Pointers @@ -26,54 +26,99 @@ - [Plan] Declared `agent-skills:planning-and-task-breakdown` — purpose: 按依赖拆分调查、验证和改进;outcome: 区分可观测机制与行为验证;incorporated: 调查步骤。声明不表示宿主自动观测。 - [Spec] Unaided — 根据已读取源码和已调用技能的调查结果整理候选和边界;considered: architecture and design。阶段记录在首稿之后补录,不能声称写作前已通过门禁。 - [Test] Unaided — 制定真实行为与隔离验证口径;considered: testing strategy。 +- 后续调查读取 `agent-skills:idea-refine`,比较实际能力选择、机制真实性和结果验证;与任务事实的决策均写入现有任务文件。 +- 后续读取 `agent-skills:spec-driven-development` 重审规格:保留 TaskFlow 的 Spec 位置与标题,检查目标、命令、项目结构、代码约束、测试策略和边界;现稿仍缺选定的实施契约、各阶段可执行验收和完整测试命令,暂不视为可审批规格。该技能是在首稿后才读取,不能追称参与首稿。 ## Preconditions -- 工作区 `C:/Users/hk/.codex/worktrees/task-version-commits/TaskFlow`;分支 `fix/taskflow-capability-outcomes`。 +- 工作区 `D:/WorkSpace/Agent/TaskFlow/.worktrees/capability-outcomes`;分支 `fix/taskflow-capability-outcomes`。 - 计划及具体方案须经用户批准后实施。 ## Plan Review -- Verdict: needs revision -- Coverage: 待真实行为基线和候选机制确定后审核。 -- Verifiability: 自动审批拒绝真实模型基线,不能假设真实行为已经验证。 -- Layer ownership: 须区分宿主事件、模型选择及最终问题解决,避免只做标记。 +- Verdict: sound +- Coverage: Step 1 对应失败重建,Step 2 对应七阶段提示及兼容,Step 3 对应静态检查,Step 4 对应真实行为与产物验收,Step 5 对应交付和残留风险。七阶段中未达标的场景必须在 Step 4 保持未完成并回到 Step 2,不能以文字断言替代。 +- Verifiability: 可运行现有脚本与有监督的真实宿主对照;规格、审查、构思各有一次候选提示对照,但其提示来自测试用户而非真实 hook,尚不证明新 hook 有效。对照须同时检查提示到达、能力选择与产物;不可运行或出现越界时记录失败,不能标记验收通过。 +- Layer ownership: 能力发现提示属于 TaskFlow;方法与产物质量属于实际能力及验收。既有事件队列只证明记录,模型语义无法由字段证明;本方案不伪称修复事件错配或覆盖所有写入路径。 ## Approval -- Status: requested -- Approved by: pending -- Approved at: pending -- Approved version: pending -- Approved scope: pending +- Status: approved +- Approved by: user +- Approved at: 2026-11-12 19:29 +0800 +- Approved version: v1 +- Approved scope: PRD / Spec / Plan ## Steps ### Step 1 — 复核既有案例与真实行为基线 - Goal: 用历史记录和合适的实际宿主试验定位问题,记录能力选择、调查和产物。 -- Dependencies: 用户批准了必要真实模型验证;实际测试的发送范围和目的地仍受自动审批约束。 +- Dependencies: 用户已知悉隔离限制并同意本机测试,指示仅读取测试仓库和必要技能、监控并在发现越界时中断。 - Files: 当前任务文档和必要的脱敏样本。 - Implementation checklist: - [x] 对照本次失败、digdig 历史案例与旧任务测试范围。 - - [ ] 明确真实测试的数据边界并获得必要授权,执行可复核基线。 + - [x] 明确真实测试的数据边界并获得用户授权。 + - [ ] 依照用户批准的监控方式执行可复核的普通开发任务基线。 - [ ] 归纳已证实原因与待验证假设。 - Acceptance: 每条结论有证据来源和限制;不把离线字符串测试描述为模型测试。 - Verification: 复核事件、工具调用和实际产物。 - Rollback: 更正任务记录,不改写历史会话。 - Status: in_progress -### Step 2 — 形成候选设计与评估计划 +### Step 2 — 实现阶段能力引导 -- Goal: 对比提醒、工具接口、宿主覆盖与必要的门禁,选择真正改善结果的方案。 -- Dependencies: Step 1 基线或明确的证据限制。 -- Files: `spec.md`、`plan.md`。 +- Goal: 让既有提示要求按当前工作内容匹配实际能力,并让阶段表覆盖可用规格、探索和审查能力的概念。 +- Dependencies: 本版本 PRD、Spec、Plan 经用户批准;Step 1 的可复核基线及其限制已记录。 +- Files: `hooks/prompt-reminder`、`skills/taskflow/SKILL.md`;若验证发现需要,调整已有宿主连线和 `skills/taskflow/references/runtime.md`。 - Implementation checklist: - - [ ] 比较改动位置与副作用,列出明确可证伪的测试。 - - [ ] 计划审查后提交用户批准,再实施产品改动。 -- Acceptance: 能覆盖实际问题而非仅生成标记;不擅自增加阻断。 -- Verification: 回看原始需求并对照真实案例。 -- Rollback: 修改设计记录。 + - [ ] 为 planning、in_progress、checking 和无活动任务的开发入口审查提示时机与内容,保持只读任务、无适用能力和同阶段继续工作的合理路径;不得虚构具体阶段。 + - [ ] 在阶段概念中补充 Spec 编写等能匹配实际技能描述的用途;保留 TaskFlow 固定标题及任务文件作为唯一事实源。 + - [ ] 不新增调用记录字段、技能名称白名单或硬门禁;如需超出规格的机制,先修订规格并重新取得批准。 +- Acceptance: 七阶段各有明确入口;提示要求检查描述、适用时先调用并审核结果;无合适能力可自行完成。既有状态、无任务及非开发请求语义不退化。 +- Verification: 对照 Spec 七阶段矩阵、现有宿主 hook 表和现有 prompt-reminder 输出。 +- Rollback: 恢复本 Step 相关文件至版本基线,保留用户文件及任务记录。 +- Status: in_progress + +### Step 3 — 验证提示契约与宿主覆盖 + +- Goal: 确认提示按状态输出、不产生副作用且不会损坏既有生命周期。 +- Dependencies: Step 2。 +- Files: `hooks/smoke-test`、必要的现有宿主测试与配置。 +- Implementation checklist: + - [ ] 覆盖 planning、in_progress、checking、无任务、多任务及非开发场景,验证状态输出、能力引导、unaided 和既有提示兼容;检验 hook 不修改工作区或 Git 状态。 + - [ ] 运行 `bash hooks/smoke-test <项目内测试夹具目录>`、`python evals/runner.py`、`git diff --check` 和仓库要求的 skill 校验;记录环境失败及回归。 + - [ ] 对照五个已声明宿主的提示入口,缺失或宿主不支持时核实并记录,不能仅按配置推断真实运行。 +- Acceptance: 定向测试和适用本地检查通过;静态断言只证明提示契约。 +- Verification: 记录命令、结果与保留的测试证据;PR CI 覆盖三平台。 +- Rollback: 回滚本 Step 的测试与连线变更,不改变基线断言以掩盖失败。 +- Status: in_progress + +### Step 4 — 真实阶段和产物验收 + +- Goal: 确认真实模型收到产品提示后,适当地使用能力并产出满足任务的结果。 +- Dependencies: Step 3;遵守用户已允许的测试范围、实时监控及官方缓存保留规则。 +- Files: 当前任务 `plan.md` 与必要的项目内测试夹具;不写产品外配置。 +- Implementation checklist: + - [ ] 按 Spec 矩阵对定义/头脑风暴、研究、Spec、Plan、实现、测试审查、完成归档分别运行或复用有证据的正反场景;记录任务、能力、hook 提示、调用和结果,区分真实阶段与只读模拟。 + - [ ] 重放 Spec 遗漏、审查及构思场景,比较现有基线与实际产品提示;检查规格边界、根因/验证及方案取舍,使用无适用能力和无需发散的负对照。 + - [ ] 任何缺口重现、产物不可靠或提示不可达时,记录原因并回到 Step 2;缺少真实宿主结果的阶段不得称作通过。 +- Acceptance: 逐阶段结果满足需求并可复核;不凭调用或声明数量宣布有效。 +- Verification: 保存最小必要调用与产物证据,标明模型不确定性、失败、使用量和未覆盖宿主。 +- Rollback: 清理本任务测试创建的夹具,保留官方插件更新及用户文件。 +- Status: pending + +### Step 5 — 交付审查与收尾 + +- Goal: 完成交付、提交回退点并如实记录限制。 +- Dependencies: Step 4 全部验收通过及用户验收。 +- Files: 任务记录、修改的产品和测试文件。 +- Implementation checklist: + - [ ] 复核差异与七阶段验收;提交至少一次本版本代码变更,必要时增加有意义的阶段提交。 + - [ ] 按 TaskFlow 完成归档与仓库 PR 流程;合并、推送及清理仅按用户已有授权执行。 +- Acceptance: 用户问题得到实际解决、回退点和验证可追溯;所有未覆盖事项明确,不虚报完成。 +- Verification: `git diff --check`、提交状态和用户验收。 +- Rollback: 按提交回退本任务变更,保留无关工作。 - Status: pending ## Checkpoints @@ -82,6 +127,31 @@ ## Verification / Review +- 已按用户授权重新安装项目内测试插件并使用交互式 Codex `/hooks` 检查:启动时有 7 条 hook 待审查,其中 `UserPromptSubmit` 的一条来源为 `taskflow@taskflow-eval-local`;只对该条选择 trust,界面显示 Trusted,其余未全部信任。正常配置、禁用正式同名插件的非交互 Codex 会话未收到夹具任务状态;相同条件的交互会话显示 `Hook failed` 且模型答复无法取得任务状态,失败消息未识别具体 hook,因此不能断言失败一定由测试插件造成。事后只读核对本次测试会话记录,发现模型违背“不调用工具”提示,调用了工具目录查询,但没有读取任务文件;记录中未发现夹具任务编号或新增能力提示,故该轮不应描述为完全无工具。 +- 测试会话可能受宿主配置/其他 hook 影响;没有识别确切的失败来源前不得宣称插件自动加载或引导有效。测试前配置与信任状态已按 SHA-256 还原,临时插件、快照和项目内夹具已删除。交互式 CLI 产生的测试会话记录尚保留;来源未明的 marketplace staging 未删除。 + +- Codex 真实宿主正对照:在项目内独立 Git 夹具,用仅本次生效的 `hooks.UserPromptSubmit` 配置和已审阅 hook 信任选项注入无副作用标识,模型在不读文件、不调用工具时准确返回 `HOOK_CONTROL_R7X42`,证明该配置路径可注入上下文。随后改为直接调用本工作树 `hooks/run-hook.cmd prompt-reminder`:planning、in_progress、checking 三个状态中,模型均在不读文件时返回夹具任务编号、版本、对应状态,并概括能力选择要求。此结果验证同一真实 Codex CLI 的临时 inline hook 送达,不证明通过安装插件的 hook 已加载,也不证明七阶段实际选择与产物质量。忽略用户配置时 shell 工具被现有策略拒绝,因而此对照不包含真实技能读取;夹具已清理。 + +- OpenAI [plugin documentation](https://developers.openai.com/plugins/build/plugins) 与 [hook trust documentation](https://developers.openai.com/codex/hooks) 说明插件安装或启用不会自动信任 hook;需在 `/hooks` 审查,或在已经审核所有启用 hook 的一次性自动化中使用临时信任选项。首次安装不触发探针与此一致,但不能单凭文档断言本机根因。 +- 对已审核的临时插件,在市场源与安装副本均插入项目内调用探针;使用忽略用户配置和一次性 hook 信任选项时探针仍未出现,且 shell 执行被宿主策略拒绝。直接用同一 Windows launcher 执行该安装副本时探针出现并输出预期提示,说明脚本本身可在该夹具下运行;仍不能确定运行时是否加载了该插件。真实 hook 送达和七阶段验收未通过。 +- 本轮插件测试结束后,先检查配置未被并发修改,再恢复测试前配置并以 SHA-256 核验;测试插件、配置备份和项目内夹具均已删除。 + +- 用户授权临时安装待测本地 TaskFlow 插件。安装后 CLI 显示启用,安装副本中的 `prompt-reminder` 起初与工作树 SHA-256 一致;真实规格场景无 hook 事件证据,模型未读取规格技能。随后仅在安装副本加入项目内文件调用探针,用默认配置和 `--ignore-user-config` 各试一次,探针均未生成;后者还阻止了 README 的 shell 读取。由于尚未证明运行时确实从被插桩副本加载 hook,不能据此断言 hook 一定未运行,但提示送达和效果均未验证。 +- 已确认测试后配置未被并发修改,恢复前后 SHA-256 与测试前备份一致;临时插件缓存、配置快照和项目内测试夹具已删除。期间出现一个来源未确认的 marketplace staging 目录,依用户要求保留不擅自删除,官方插件更新未回滚。 + +- 2026-11-12 Step 3: 提示定向测试、eval 与技能校验通过;完整测试存在主分支同样的失败 + +- 2026-11-12 Step 2: 实现已提交,七阶段真实效果尚待验证 + +- 实现提交 `0dfe57b` 和布局修正提交 `4e03912`:共享提醒覆盖无活动任务的开发入口、planning、in_progress、checking;现有阶段表补充规格编写和可验证验收的匹配描述。无新增硬门禁、能力名称白名单或证据字段。 +- 提醒相关原有 smoke 段落(包含 in_progress、checking、planning、无任务、ready、多任务、目录外静默以及强化资料顺序)定向运行通过;`python evals/runner.py` PASS (6 evals),`git diff --check` 和 Bash 语法检查通过。skill 校验用 `PYTHONUTF8=1`、已有 torch 环境的 PyYAML 通过;基础 Python 缺少 PyYAML,未安装依赖。 +- 全量 `hooks/smoke-test` 在 Windows 的无解释器夹具因 bash 共享库加载失败,未运行到提示段落;Windows 生命周期 smoke 在 complete 查找测试根目录时报 no active task。用主分支原始 Windows smoke 和相同类型的项目内夹具重跑,出现相同错误,故不能归因本次改动。两次失败均未证明全量 CI 通过;夹具已清理。 +- 实际产品 hook 被真实宿主加载、七阶段行为及产物仍需验证;此前针对用户提示附加候选文字的对照不能冒充产品 hook 验证。 +- 真实宿主加载尝试:在任务目录内建立独立 Git 仓库和本地市场,复制待测插件。CLI 能发现 `taskflow@taskflow-eval-local`,但临时 enabled 参数启动 Codex 后,该插件未出现在已安装列表,事件流没有待测 hook 调用证据;规格场景未见规格技能调用。此次不能作为产品 hook 成效验证。未通过写用户配置强行安装;测试夹具已清理。报告 usage input 158832(cached 126464)、output 1684。 + +- 七阶段静态核对(仅说明指引存在,不证明被模型执行):定义阶段列出需求澄清、发散及缺陷调查;研究阶段列出检索与证据评估;设计阶段列出架构与接口;规划阶段列出拆解和依赖;实现阶段列出增量及代码规范;验证阶段列出测试与审查;完成阶段列出文档与决策记录。目录中分别可见 `idea-refine`、`spec-driven-development`、`planning-and-task-breakdown`、`incremental-implementation`、`test-driven-development`、`code-review-and-quality`、`documentation-and-adrs` 等候选,是否适用取决于具体任务。 +- `capability-gate` 的阶段提示覆盖 PRD、Spec、Plan;`task declared` / `unaided` 接受 PRD、Spec、Plan、Test。研究、实现和归档虽然在技能表中有引导,但不是这些命令的独立阶段;这不是单凭覆盖差异就应增加标记的证据。任务后续须检查各阶段实际行为,尤其 Spec 遗漏与头脑风暴触发边界。 +- 每轮提示覆盖差异:`hooks/prompt-reminder` 的 `planning` 分支提示考虑能力;`in_progress`/`checking` 的输出包含当前任务、可选强化资料、外部检索和变更分类,但没有对应的能力选择提示。技能总规则仍要求每一阶段实质工作前检查能力;两者说明提示时机不一致,不能单凭静态代码认定这造成了某次遗漏。研究、实现、验证与归档的真实调用和产物仍待验证。 - 已读取调试和规划技能。规划技能默认要求 `tasks/plan.md` 与 `tasks/todo.md`;TaskFlow 将现有任务目录的 `plan.md` 和 `TaskFlowDocs/todo.md` 定为唯一事实源。因此采用规划技能的拆解方法、将内容写回 TaskFlow 文件,不额外创建第二套计划。该整合方式是依据两份指令作出的处理,尚未通过真实宿主端到端验证。 - `hooks/task approve` 源码明确说只验证 Plan Review 字段是否有答案,不能判断答案质量;真实缺陷调查和计划质量不能等同于字段齐全。 - 真实模型测试原先遭自动审批拒绝;用户随后同意向 Codex 模型服务发送测试提示、TaskFlow 规则和测试读取的仓库内容。 @@ -89,12 +159,67 @@ - 显式使用 provider=openai 的只读试验中,模型实际读取调试与规划技能;提示明确要求检查这些技能,因此不能验证 TaskFlow 本身是否促成调用。启动时部分 hook 失败,模型列表刷新超时。 - 该模型还检索了授权范围之外的本机记忆文件;发现后立即中断,检索结果可能已发送给 OpenAI 模型服务。未进一步重复,真实测试数据边界需要可执行的隔离保障。 - `python evals/runner.py`:PASS (6 evals);逐读 runner 确认这些是关键字和静态 fixture 检查,不能证明模型行为。 +- 合成真实 hook 事件:无能力记录的 Plan 写入被拒绝;单次 `mcp__unrelated__calendar` 事件后相同写入放行,`released` 记为 `Plan|1|invoke|mcp__unrelated__calendar`。夹具仅在当前 worktree 的 Git 元数据内创建并保留;这不是一次真实模型对照。 进一步在合成 `tool_response.isError=true` 后测试,Spec 写入仍放行;这证明脚本不检查该字段,不证明真实宿主失败事件一定使用此字段。 - `hooks/capability-evidence` 将 `mcp__*` 均记为调用,`hooks/capability-gate` 按先进先出把记录释放给写入的阶段;代码注释明确承认阶段归属不能从队列还原。由此只能判断事件被记录,不能判断能力相关性或实际结果。 - 查询了本机 CLI 功能开关:存在 shell_tool、unified_exec 等开关,但尚未证明禁用后能完全阻止通过其他工具读取本机数据;未再次启动模型。 - WSL Ubuntu 的用户/挂载命名空间可用于隔离 Linux 进程,但现有 pnpm 安装仅发现 `codex-win32-x64`,未发现 Linux 原生运行时;不能把 WSL 中启动 Windows 进程当作受 Linux 文件系统隔离。凭据必须同时与模型可调用工具隔离。 +- OpenAI 的 [Sandbox security](https://developers.openai.com/api/docs/guides/agents-api/environments/security) 说明执行环境中的代码能够读取其可访问的文件和凭据,建议将应用凭据留在环境外;该文描述 Agents API,不能据此认定本机 Codex CLI 的具体配置已经安全。 +- npm 元数据中的匹配 Linux 运行时解压约 459 MB;下载尝试未完成。尚无证据证明安装它即可同时隔离宿主文件及凭据,因此未继续下载或启动模型。 +- 2026-11-12:对本机 `codex sandbox` 使用限制读取的临时权限配置执行无模型探针,命令报 `Restricted read-only access requires the elevated Windows sandbox backend`,未启动探针。该结果只说明当前后端未接受此配置,不证明其他后端已安装或可安全启用;未更改系统配置。 +- 用户于 2026-11-12 明确同意在无法完全隔离时使用本机 Codex 测试,限定模型仅读取测试仓库和必要技能,并监控越界中断;知悉其他本机文件读取结果可能发送给 OpenAI。 +- 使用 `debug prompt-input` 在当前目录检查新会话初始输入:可见项目指令和技能目录;没有发现记忆正文,唯一 memory 提及是通用指令中的例子。这是该调试命令在当前配置下的观察,不保证不同启动参数或宿主一致。`shell_tool` 和 `unified_exec` 当前启用,模型仍可通过工具读取可访问文件;此前试验已实际读取记忆。当前任务文档包含调查结论,也需要从盲测材料中排除。`codex mcp list` 返回没有配置 MCP 服务器,但不能由此推断所有插件或宿主工具均不可用。 +- 普通规格场景:以用户此前的任务版本 Git 回退需求为提示,要求只读调查、输出规格草案,不指定专家技能,不读取现有任务文档、历史或个人文件。主动读取已安装 TaskFlow 技能、调查源码和测试并输出草案;可见调用中未见读取 `spec-driven-development`。草案识别了当前已有实现,但提出持久提交映射等额外需求,需与原授权边界对照,不能直接视为正确需求。此场景针对已实现的功能且只输出草案,不能代替原始任务或验证实际写文件阶段;工具输出有截断,不能断言调用清单完整。模型列表刷新超时但最终答复完成;报告 usage input 221905(cached 167808)、output 3088,不等同费用。 +- 未定方向的头脑风暴场景:要求只读探索长程开发任务交接的方向与取舍,不指定技能。读取仓库中的 TaskFlow 规则及交接相关源码,提出四个方向、适用条件、风险和推荐;可见调用未见读取 `idea-refine`。这说明本次有产出备选方案,不证明已完成充分探索或适用能力引导成功;提示本身要求多个方向、是只读讨论而非真实 TaskFlow 定义阶段,且输出截断,不能作为完整调用审计。需补充已定方向的负对照、真实开发阶段与改进前后比较。报告 usage input 154397(cached 104960)、output 1444,不等同费用。 +- 头脑风暴候选提示对照:同一交接需求,增加按发散构思、选项比较与假设检验检查适用能力、并读取指引的提示,不指定技能名称。模型读取 `idea-refine` 和 `doubt-driven-development`,提出五个方向、适用情况、成本风险及关键假设,建议先做交接演练;基线提出四个方向并建议就绪检查。候选输出更明确地区分了假设与证据,但一次开放式只读对照不能证明长期改进,且两次均未实际执行宿主开发阶段。模型遇到一次 context-mode 大文件读取拦截,随后改用局部搜索并完成;本次事件流输出保留命令与最终回复。报告 usage input 324175(cached 276992)、output 2721。 +- 简单任务负对照:只读核查 README 中指定拼写错误并建议最小修改;模型未发现该错误,报告无需修改,未发散或读取专家技能。该场景是只读且指定错误不存在,说明一次简单核查没有机械触发发散,不代表真实修改阶段的普遍行为。报告 usage input 92071(cached 73472)、output 452,不等同费用。 +- 规格候选提示对照:同样的 Git 版本需求与只读边界,额外要求按规格设计内容检查可用能力并读取适用指引,未指定技能名称。模型识别并读取 `spec-driven-development`,按 TaskFlow Spec 标题输出规格草案;基线轮次可见调用未见该技能。两次草案都提出持久映射及超出原需求的历史保留选择;因此这次提示改变了可见的能力选择与格式,但不能证明范围控制或问题解决质量得到改善,也不能证明因果或跨阶段有效。两轮输出均有截断、没有完整可审计日志;该对照不是完整宿主生命周期。报告 usage input 217016(cached 184448)、output 3497,不等同费用。 +- `debug codex prompt-input` 默认与 `--disable plugin_discovery_prefetch` 的输出都未出现目标技能名称,不能证明该开关既保留技能目录又能阻止刷新。[官方配置参考](https://developers.openai.com/codex/config-reference/) 指出禁用插件不保证市场刷新不会更新文件;尚未验证无项目外写入且保留同等宿主能力的启动方式。后续真实实验不能假定只读模型工具也约束宿主后台行为。 +- 用户更正授权:允许测试期间宿主自动更新插件缓存和临时目录,并要求测试后恢复。本轮前将 marketplace 与 plugin cache 复制到任务目录,逐文件 SHA-256 校验两侧均一致;审查场景完成后比较发现 marketplace 新增单个 staging 目录(20 文件),原文件内容无变化,plugin cache 无变化。已仅删除该新目录;再次核对两棵树的路径清单均与快照一致,随后清除本轮测试备份。此前未建立快照的旧测试无法还原到其测试前状态。 +- 验证与审查阶段真实只读场景:要求审查 Git 回退点检查是否漏掉未提交变更,未指定专家技能。精简事件流保留本轮所有命令和最终结论,未见模型读取代码审查技能;模型静态提出子模块 ignore 配置及传入子目录作为根目录可能绕过检查两项候选,均未复现,不能当作已确认缺陷。模型有源码依据和复现建议,说明未读取专家技能并不自动代表审查无效;需独立复验结果,再与候选引导比较。报告 usage input 277171(cached 236416)、output 1834。模型列表刷新超时,最终 turn 完成后 MCP 退出异常,手动结束退出等待。 +- 用任务目录内的真实 Git 临时仓库复验上述审查结果:`.gitmodules` 将子模块 `ignore` 设为 `all` 且子模块文件已修改时,手工在夹具的 `.git` 写入与 HEAD 一致的测试基线后,`version-baseline check` 返回 0,而 `git status --ignore-submodules=none` 显示 ` M module`;将仓库子目录传为 root 时脚本也直接返回 0。初次用 Windows 系统 `bash` 因 WSL 权限失败,改用 Git Bash;在此沙箱中 init 因 Git 返回的 Windows Git 路径被 Bash 当成相对路径而失败,因此手工建立夹具基线,只验证 check 而非完整生命周期。子目录是否为受支持 root 仍须对照接口契约;子模块问题及完整入口需另行处理,不将其计入本任务修复完成。 +- 审查阶段候选提示对照:复用相同审查任务,加上按工作内容检查可用审查能力、适用时先读取指引的提示(未指定名称)。模型读取 `code-review-and-quality`,最终仍报告与基线相同的子目录和子模块两个候选。基线和候选各一次,能观察能力选择不同,不足以证明提示改善发现质量;调用日志过滤掉源码输出,只保留命令和最终结论。报告 usage input 243237(cached 197504)、output 1897。 +- 回退点候选缺陷独立登记为 `TF-20261112-f593c5`。Git Bash 在默认沙箱内解析工作区路径两次报权限错误;获得执行权限后,`hooks/task intake` 成功,仅登记待办,尚未实现修复或验证完整生命周期。 +- 本轮测试前逐文件 SHA-256 校验市场和插件缓存快照一致。测试后市场 `taskflow` 副本新增 8 文件、缺失 3 文件、16 文件内容改变;插件缓存 `openai-curated-remote/visualize` 缺失 49 文件。用户明确要求保留官方渠道更新、删除本次自行创建的内容;TaskFlow 市场更新保留,visualize 的删除来源不明,未覆盖。市场 staging 目录为空,项目内本轮测试快照已删除。 + +- 2026-11-13:Codex 0.167.0 的 App Server 报告已安装 TaskFlow 的 SessionStart 和 UserPromptSubmit 均失败(code 1)。PowerShell 原样执行配置中的带引号路径和参数时报语法错误,修复为经 `cmd.exe /d /c call` 启动。新增 Windows 配置入口回归;七个命令在带空格路径下经 PowerShell 与 cmd 均返回成功。临时安装待测插件并单独信任提醒 hook 后,真实 App Server 报告该插件 SessionStart、UserPromptSubmit 完成并注入合成任务状态;模型复述任务 ID 和 in_progress。该次只验证提示送达,不证明七阶段能力选择或产物质量。终端输出中中文显示异常,尚未区分测试管道显示编码与模型实际收到的文本,待字节级复验。完整 Windows smoke 在 `complete` 步骤报 no active task;此前原样主分支已复现。测试配置已按哈希恢复,临时插件缓存已移除。日志模块本轮未实施:宿主事件已识别失败来源,若后续确需日志,用户要求不阻塞并脱敏代码、个人信息与密钥。 + +- 2026-11-13:再次临时安装并单独信任待测插件的 UserPromptSubmit,准备复测规格、构思和审查。规格场景进程收到开发请求后,一条命令触发路径范围监控并被终止;监控器没有保存触发命令或原因,故无法判断是启动器路径误报还是实际访问越界,也无法证明越界读取未发生。该运行不作为通过证据。原配置按哈希恢复,测试插件缓存删除;后续试验须先改善监控审计,只保存允许范围与原因、不记录敏感内容。 + +- 2026-11-13:用户允许继续本机受监督试验。修正监控器对双反斜杠转义及技能目录的误判;它只按工具启动事件检查路径,非隔离,无法证明进程在中断前没有越界读取。真实 Codex 0.167.2、临时安装并单独信任候选插件:规格案例发起包含 `spec-driven-development` 的读取命令(未记录退出状态),草案覆盖全仓库、版本边界、纯任务文档例外、后续脏变更与失败场景;该仓库仅为合成夹具,草案未验证产品接入。头脑风暴发起包含 `idea-refine` 的读取命令(未记录退出状态),比较四种方向、代价和失败假设,提出接手人试验。审查发起包含 `code-review-and-quality` 的读取命令(未记录退出状态),识别此前独立复现的子模块忽略风险及尚需契约核实的子目录风险,模型本轮未运行复现。 +- 本地合成研究正确指出 A/B 测量条件不一致且 C 无分母;未测试外部检索。决策记录发起包含 `documentation-and-adrs` 的读取命令(未记录退出状态),区分 README 事实和未验证部署。实现样本生成函数与四项边界测试,独立复跑通过,但未观察到明确的 Python 或 TDD 专家技能调用。以上均为单次或少量样本,研究与归档为只读模拟,不能代表完整生命周期。 +- 规划基线两次读取 TaskFlow 并形成可执行计划,均未观察到任务拆解技能;因此将共享提醒补充为考虑生命周期之外、与当前工作匹配的研究、规格、任务拆解、实现、测试、审查及决策记录能力。更新临时插件后,Codex 因内容变化要求重新信任;只信任测试 UserPromptSubmit,App Server 确认新提示送达。一次规划复测发起包含 `planning-and-task-breakdown` 的读取命令(未记录退出状态) 并给出计划,但夹具比基线多了先前生成的函数,不能作严格对照。实现复测的四项测试独立通过,仍未观察到 Python/TDD 专家技能读取。新提示下简单拼写、计算和状态查询三项反例均直接回答,没有工具调用。不得将一次能力调用视为因果或长期有效性证据。 +- 本轮 `python evals/runner.py` 为 PASS (6),Bash 语法和 `git diff --check` 通过;临时配置差异仅为测试插件与测试仓库信任记录,已按原配置哈希恢复并删除测试插件,官方插件更新保留。真实外部证据检索、完整归档操作、其余阶段系统性正反例及跨平台宿主仍未验证,Step 4 不得标记完成。 + +- 2026-11-13:定位先前 Windows smoke 的归档失败:测试夹具位于现有 Git 工作树内且自身不是仓库,归档通过 `git rev-parse` 向上发现外层根目录。测试进程设置 `GIT_CEILING_DIRECTORIES` 后生命周期通过,并暴露旧 Windows 提示断言未随本任务修改;断言已更新。开放 stdin 自检的旧实现默认在系统临时目录创建子夹具,曾在项目外误建一次;已停止测试进程,通过创建时间和 smoke 任务 ID 唯一确认并删除该夹具。调整自检把子夹具放在项目内,并避免在子进程重复执行无关的 hook 命令检查。完整 Windows smoke 此后通过:双 shell 配置、launcher、SessionStart、lifecycle、pre-write gate、base guard、状态提醒、host parity、开放 stdin(71 秒)。`GIT_CEILING_DIRECTORIES` 仅用于测试进程,不改变用户 Git 配置。 + +- 2026-11-13:补充监控命令完成事件后,在 Codex 0.167.2 的三个独立只读样本中,包含 `planning-and-task-breakdown`、`spec-driven-development`、`idea-refine` 的命令均显示 completed、退出码 0 且有输出;命令可能包含多项操作,记录不含原始输出,仍不等于对技能产出贡献的证明。规划和构思结果分别提供可实施步骤以及方案取舍;规格样本增加忽略文件及修改后恢复仍强制提交等未确认假设,不能作为合格需求直接采纳。固定方向反例没有展开其他方向;简单规格修字和字符串长度直接回答。固定方向案例有一条 TaskFlow 命令退出 1,不能声称该命令成功。规划测试中 Git 尝试读取全局忽略配置并遭系统拒绝,说明命令级监控无法覆盖子进程间接读取;后续反例通过测试进程环境将 Git 全局和 XDG 配置指向测试仓库,未修改用户配置。 +- 自动审批拒绝将当前 Codex 配置再次复制到测试目录,理由是可能包含认证和个人配置;采用只记录哈希的替代方式。结束时确认当前配置相对已有测试前备份仅有测试插件及测试仓库信任项的差异,检查无并发变化后恢复原配置并移除临时插件。测试前已获授权创建的备份随夹具删除。此处记录不足以证明所有间接读取都被阻止。 + +- 2026-11-13:构建独立合成 Git 仓库和任务工作树,使用真实插件提示测试完成归档。模型读取 TaskFlow 并检查批准、验收与脚本;首次因夹具验收字段缺失和关联 Git 元数据范围不明而拒绝归档,补齐合成事实及说明授权后重试,路径监控先后误拦 Git Bash 和另一个程序路径;另有一次包含归档路径的命令退出 1,未保存原始错误,模型未完成事务。随后在同一夹具提交由测试生成的仓库索引,直接执行 `hooks/task complete ... --user-accepted` 成功,独立回读确认活动目录不存在、归档目录存在、PRD/Plan 均 completed、Todo done。此项证明脚本事务,不证明模型端到端归档通过。 +- 本轮自动审批拒绝在项目复制用户 Codex 配置,改为不创建配置副本:通过官方命令移除测试插件与测试市场,再仅移除预检确认原本不存在的 7 条测试 hook 信任项和 1 条测试仓库信任项;以 TOML 结构比较确认其余配置字段不变。自动审批还拒绝在未显示完整 hook 列表时一次性导航并确认;逐项展示并核对来源为测试插件的 UserPromptSubmit 后单独信任。 + +### 七阶段证据矩阵(未完成) + +| 阶段 | 入口与可用能力 | 已观察到的行为与产物 | 反例与剩余缺口 | +| --- | --- | --- | --- | +| 需求定义/头脑风暴 | 阶段表的 divergent exploration;idea-refine | 真实模型调用含技能的命令退出 0;构思比较四个方向及代价和验证假设 | 方向已定的简单样本未发散;真实团队样本未验证 | +| 研究 | 阶段表的 literature and evidence review | 本地合成证据分析正确区分条件、样本和结论 | 简单计算直接回答;真实外部检索及能力选择未验证 | +| 设计/Spec | 阶段表的 technical specifications;spec-driven-development | 含技能的命令退出 0;草案覆盖全仓库和版本边界,但另一稿加入未确认假设 | 简单改字直接回答;必须审查并剔除越界假设,未证明技能输出直接带来质量改善 | +| 规划 | 阶段表的 work breakdown;planning-and-task-breakdown | 新提示下含技能的命令退出 0,形成步骤、测试和回退;旧提示两轮未观察到该技能 | 简单改字直接回答;复测夹具不同且样本少,不构成严格因果对照 | +| 实现 | 阶段表的 incremental implementation;Python/测试能力可用 | 两个合成模块样本的边界测试均经独立复跑通过;未观察到明确专家技能读取 | 简单实现的无需专家能力反例及更复杂实现的能力选择仍待验证 | +| 验证审查 | 阶段表的 testing strategy and code review;code-review-and-quality | 新提示下包含审查技能的命令完成、退出 0 且有输出;静态指出已独立复现的子模块风险 | 字符计数直接回答;子模块风险此前独立复现,本轮模型未动态复现 | +| 完成归档 | 阶段表的 documentation and decision;documentation-and-adrs | 只读决策记录草稿区分事实和验证缺口;直接执行的合成归档事务并回读通过 | 简单状态请求直接回答;模型实际执行归档未通过,不能以脚本结果替代 | + +候选提示在规划样本中产生了可观察的技能命令,但各阶段样本量有限;用户限制测试读取范围,真实外部检索和模型驱动完整归档仍没有可复核的通过证据。当前任务保持 in_progress。 + +- 2026-11-13:在新提示下补验审查阶段,`code-review-and-quality` 相关命令完成、退出码 0 且有输出;模型以源码为依据再次指出子模块忽略和子目录 root 候选,明确本轮只读未执行复现。子模块候选此前已独立复现,子目录是否受支持仍需核实。尽管测试进程设置 Git 全局/XDG 配置到夹具,模型报告 Git 曾尝试用户级 ignore 文件且被系统拒绝;该隔离策略未完全控制 Git 的间接读取,不能声称完全隔离。测试插件和测试市场通过 Codex 命令移除,只删除预检不存在的测试信任项并核对其余配置结构不变。 ## Change Log +- 2026-11-12:应用户要求将工作树复制到项目 `.worktrees/capability-outcomes`,逐文件校验后修复 Git 登记。Codex 应用拒绝附加非托管工作树;旧目录保留,后续命令须显式使用项目内路径。 + +- 2026-11-12:同步已合并的 `main`;在任何产品代码修改前记录 v1 Git 基线 `d0b5ebc748703acd19f275f3d423959b0557a9fb`。真实 hook 夹具复现无关 MCP 事件可释放 Plan。 + - 2026-11-12:用户确认分成两个关联任务,允许必要真实模型验证,先实测再决定机制;明确允许上述仓库数据发送,试验发生范围外读取并已中断。 ## Follow-ups @@ -103,4 +228,4 @@ ## Version History -- v1 — planning;需先形成可验证隔离和行为对照,再选择方案。 +- v1 — planning;按用户批准的数据边界运行行为对照,再选择覆盖七阶段缺口的方案。 diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md b/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md index ac86e35..8b4c3cb 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md @@ -1,6 +1,6 @@ # 改善 TaskFlow 能力选择与问题解决效果 > Task version: v1 -> Status: planning +> Status: in_progress ## Goal @@ -17,6 +17,9 @@ - 历史 digdig 会话有类似批量写文档后被用户指出缺少调查和计划审查的记录;同一会话也有后来读取规划技能的记录。 - 2026-11-07 repro-requirement 的验证主要检查种类、词汇与审批记录,不证明模型找到了真实根因。 - Codex 配置的写前能力门只匹配 apply_patch;离线 evals 不调用模型。机械测试不等于真实模型行为验证。 +- 使用真实 hook 和隔离 Git worktree 合成宿主事件:未调用能力时 Plan 写入被拒绝;注入与规划无关的 `mcp__unrelated__calendar` 后,同一 Plan 写入放行,`released` 将它记为 Plan 的调用。该复现证明门禁未核验阶段相关性,不证明用户会话一定发生了该事件错配。 +- 在本次用户请求中,promote 的提示实际输出,但 Agent 随后仍直接声明 unaided 并写出不充分审查的 Plan;这是一个真实失败样本,不能推断失败频率或独立归因。 +- 本任务撰写 Spec 时,Agent 未发现并评估技能目录中明确适用的 `agent-skills:spec-driven-development`,而在首稿后声明 unaided。用户指出后才读取该技能;这是另一项真实失败,无法仅凭声明推断已充分检查可用能力。 - 2026-11-12 启动只读 Codex 模型基线被自动审批拒绝:可能把仓库内容发送到模型服务,未明确输入范围及目的地。未通过其他方式绕过。 ## Requirements @@ -24,6 +27,9 @@ - 从历史失败案例和现行实现重建复现条件,区分模型行为、提醒送达、宿主覆盖、记录校验与真实结果。 - 比较现有机制与候选方案,先实测再选择是否需要阻断;不把增添字段、标记或通过字符串测试当作最终效果。 - 衡量真实能力选择、实际调查、计划与原始问题的对应、最终产物;把工具调用与实际贡献分开。 +- 覆盖 Spec 阶段:对照可发现的适用技能、是否主动评估并读取、是否将有用方法融入 TaskFlow 指定格式以及规格是否满足实际验收;不要求无条件调用指定名称的技能。 +- 检查全部阶段的能力引导:需求定义(含问题调查、需求澄清和头脑风暴)、研究、设计、规划、实现、验证审查、完成归档;区分不适用、适合自行完成与确需引导的情况。 +- 对七阶段逐一分析并修复证实影响正常选择或使用适合能力的缺口;可以采用跨阶段的共同修复,但每个受影响阶段须有对应验证,不以新增记录替代实际效果。 - 尊重用户授权:必要时可运行真实模型验证,具体发送内容与目标受自动审批约束;不外传私人数据或整个仓库。 - 保留 TaskFlow 固定标题及用户可用其他能力的自由,不强制凭名称调用无关能力。 @@ -32,12 +38,14 @@ - 给出可复查的失败案例和根因或明确区分未证实假设,不把提示送达当采纳。 - 已确认的机制变更覆盖实际行为;提供真实案例或经允许的真实宿主对照,若不可运行不得声称效果已验证。 - 机械测试覆盖修改契约、异常和宿主边界,但不能替代模型和产物检查。 +- 真实场景或受控对照包含规格编写时遗漏适用技能的案例及不需要该技能的简单反例;记录可用技能、选择与理由、实际读取及对规格的贡献,并检查规格内容,不能仅凭调用或 unaided 标记判定通过。 +- 对七个阶段分别给出引导入口、可用能力匹配、实际覆盖和证据边界;对头脑风暴验证未定方向时的备选与取舍,以及方向已明确时避免重复发散。行为结论须基于相应真实案例或对照,不能把静态覆盖写成效果已验证。 - 对既有归档成果和真实宿主验证待办说明关系;不擅自关闭或改写其他任务。 ## External Facts - Depends on external facts: no -- Why not: 当前事实来自本仓库实现和用户授权的历史会话;若方案依赖宿主外部契约再重新评估。 +- Why not: 现有提示和事件行为以 `hooks/prompt-reminder`、`hooks/capability-evidence` 及用户授权的历史会话为依据;若方案依赖宿主外部契约再重新评估。 ## In Scope @@ -49,8 +57,8 @@ ## Risks / Deferred Items -模型表现非确定性;单次测试不能证明因果或普遍有效。真实模型测试的发送范围及目的地目前未通过自动审批。 +模型表现非确定性;单次测试不能证明因果或普遍有效。用户已允许在无法完全隔离时按指定范围使用本机 Codex 测试,仍须监控并在发现越界时中断。 ## Open Questions -待解决真实模型测试数据授权及批准;方案待实证后选择。 +待完成普通开发场景及规格编写场景的行为对照;方案待实证后选择。 diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/spec.md b/TaskFlowDocs/2026-11-12-capability-outcomes/spec.md index 5ad75c0..8e44266 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/spec.md +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/spec.md @@ -3,7 +3,11 @@ ## Objective and Success Criteria -让开发阶段真正使用适合当前问题的能力并解决用户问题;不能用填写字段、调用无关工具或测试字符串替代行为验证。 +让 TaskFlow 各阶段在适用能力可用时更可靠地发现、评估并使用它,改善实际产物;不能用填写字段、调用无关工具或测试字符串替代行为验证。 + +- 开始实质工作时,引导模型将当前工作与宿主可用能力的描述匹配;有合适能力时按宿主方式读取或调用,审查结果后再吸收;没有合适能力时允许自行完成。 +- 七阶段均须有可验证的引导入口和正反场景;其中头脑风暴只在目标或方向未定时展开,需求已明确的简单任务不应被迫发散。 +- 对照须分别评价能力选择与产物:正确调用本身不等于调查、设计、实现或审查正确。真实场景若未达标,须继续修订,不得因静态测试通过而声称完成。 ## Architecture Boundaries and Responsibilities @@ -13,12 +17,16 @@ ## Project Structure / Affected Files -调查范围:`hooks/prompt-reminder`、`hooks/capability-evidence`、`hooks/capability-gate`、`hooks/hooks-codex.json`、`skills/taskflow/SKILL.md` 和现有测试;具体修改须依据验证结果确定。 +拟修改 `hooks/prompt-reminder` 的既有提示、`skills/taskflow/SKILL.md` 的阶段概念和能力选择说明,以及 `hooks/smoke-test` 中相关行为断言;必要时同步已声明宿主的配置与 `skills/taskflow/references/runtime.md`。复用现有 hook,不新增依赖或任务记录字段。 ## Interfaces, Data Flow, and Contracts 当前机制观察:`capability-evidence` 接受 `mcp__*` 事件;`capability-gate` 按队列先后匹配阶段。事件与阶段意图及产物贡献没有一一对应,允许 unaided,审批检查审查字段完整性而非结论正确性。不能将这些机制视为真实能力选择或问题修复的证明。 +候选实现契约:继续使用现有 `UserPromptSubmit` 提醒,在 planning 和执行/检查时要求模型结合当前工作内容检查宿主实际能力描述,评估是否适用;选择使用时先按宿主方式读取或调用,再将经过审查的有用结果融入当前任务。提示应允许无适合能力时自行完成,不指定供应商、技能名称、调用数量或额外审批字段。规划状态不得假定当前一定是 Spec;执行/检查状态不得假定每一轮都进入新阶段。选定能力或调用记录不代表结果可靠。 + +技能阶段表补充足以匹配规格编写、方案探索、实现、测试/审查和归档文档等实际概念的描述,同时保留 TaskFlow 的七阶段与固定文档结构。不得让规划能力的默认文件位置覆盖 TaskFlow 事实源。 + 规划技能默认输出 `tasks/plan.md`;TaskFlow 把任务目录的 `plan.md` 作为事实源。采用技能的方法时将有效内容纳入 TaskFlow 的指定文档,保留被 hooks 匹配的标题和字段,不另造竞争文档。 ## Invariants and Compatibility @@ -29,19 +37,27 @@ 基线包括本次遗漏能力的真实会话与 digdig 原始案例。后续受控实验要固定任务、模型、工具可用性、提示和宿主,比较具体任务的能力选择、根因证据、计划可执行性与产物;必须记录实际调用、提示到达、错误、结果和盲评口径。至少包含无需外部能力的简单对照,不能强迫所有任务调用技能。一次提示主动要求读技能的运行不构成引导效果验证。 -真实模型测试前须由操作系统限制文件读取,仅向 OpenAI 模型服务提供获准的测试材料和仓库数据。普通 read-only 沙箱仍允许读取本机记忆,不能作为隔离证明;Windows 二进制由 WSL 互操作启动不能假设被 Linux mount namespace 隔离;凭据也不能被模型工具读取或输出。无法证实边界时不得启动。 +本任务自身的 Spec 首稿遗漏了可用的 `agent-skills:spec-driven-development`:在用户指出后才读取。行为评估须覆盖复杂规格任务中对适用技能的发现、评估、读取及方法在 TaskFlow 标题下的实际运用,同时检查规格的成功标准、边界与验证方法;安排无需此技能的简单反例。技能调用和 unaided 声明本身均不足以证明结果。 + +逐阶段检查需求定义、研究、设计、规划、实现、验证审查和完成归档的现有引导及能力匹配。头脑风暴归属需求定义:目标或方案未定时比较可行方向与取舍;用户已确定方向时不重复发散。已读取的 `idea-refine` 适用于模糊想法和方案压力测试,不适用于方向已确定只需写规格的情况;其默认独立输出位置与 TaskFlow 事实源应分别处理。现有 smoke test 仅验证 `divergent exploration` 的声明/对账,尚无证据表明它验证实际发散质量或真实能力选择。 + +用户于 2026-11-12 知悉无法完全隔离后的风险,允许使用本机 Codex 真实测试:指示模型仅读取测试仓库及必要技能,监控工具调用,发现越界时中断;读取结果可能发送给 OpenAI。普通 read-only 沙箱仍允许读取本机记忆,不能作为隔离证明;不得将测试描述为完全隔离。不得主动读取或输出凭据。 ## Code and Test Constraints 定向测试事件形状与脚本入口,真实行为测试必须独立于标记字段;所有夹具保留或按用户许可清理。 +沿用仓库 Bash 和现有测试,不新增依赖;实施后运行 `bash hooks/smoke-test <项目内测试夹具目录>`、`python evals/runner.py`、`git diff --check`,以及仓库要求的 TaskFlow skill 校验。全量跨平台检查以 PR CI 为准。测试产生的文件按用户授权清理,不删除其他文件。若某项受环境限制不能运行,须记录原因,不能写成通过。 + +真实行为对照矩阵:需求定义的模糊想法与已选方向、研究中确需外部证据与不需要外部检索、复杂 Spec 与简单改字、跨文件 Plan 与简单任务、实现中有适用技术能力与无适用能力、需要审查/测试与无需额外审查、需要持久决策记录与普通归档。每项至少记录任务与能力目录、提示是否实际到达、调用顺序与结果、产物及可证伪的质量标准;正例须能检出适用能力被遗漏或调用无贡献,负例须能检出多余发散或被迫调用。优先复用历史失败样本与已获得用户同意的真实宿主测试;记录运行失败和样本限制。不能只比较调用次数或自行填写的标记。 + ## Design Decisions and Alternatives -- 候选 A:加强当前阶段的能力选择提示。成本较小,但需实测是否改变选择与产物,不能仅比较提示字符串。 -- 候选 B:提高调用和阶段的对应准确性。可以减少错配,但仍不能证明调用有用,单独实施只会增加流程标记。 -- 候选 C:改变模型与流程交互方式,把确定性操作交由程序负责。可能降低复杂度,但须先定位真实摩擦,不预设改造。 -- 硬门禁:可能阻断无适合能力的场景;用户要求先实测再决定,不预设增加。 +- 推荐候选 A:在现有提示中增加基于当前工作内容匹配实际能力描述的明确动作,并完善阶段概念。规格、审查和头脑风暴各一次对照均观察到读取适用技能,但其中两组未证明产物质量改善;因此这只是有初步证据的设计,必须通过上述真实行为和产物验收。 +- 候选 B:提高调用和阶段的对应准确性。合成事件已证明现有记录存在错配;但单独加强记录不能证明调用有用,不作为本次主要修复。若实施发现它影响可见事实的正确性,须单独设计能由宿主事件支持的最小修正,不伪称阶段或成功状态。 +- 候选 C:改变模型与流程交互,把确定性操作交给程序。现有证据不足以确定更大改造的所有权和收益,暂不采用。 +- 不新增硬门禁或强制命名技能;保留合理 unaided 路径。现有门禁的事件误归属与 shell 写入覆盖限制须如实说明,不以提示修订宣称它们已经解决。 ## Open Questions -缺少可同时限制文件读取和凭据暴露的真实宿主隔离运行环境;当前 WSL 只有 Windows 版 Codex 包,不能证明 Linux 隔离包住 Windows 进程。候选方案尚未决定。 +本机真实测试未完全隔离,已取得用户在知悉风险后的明确授权。完整七阶段真实宿主对照、跨平台提示到达及最终产物效果仍待验证;若无法验证,须如实报告并保留未完成状态。 diff --git a/TaskFlowDocs/todo.md b/TaskFlowDocs/todo.md index 1cd5c23..358d19e 100644 --- a/TaskFlowDocs/todo.md +++ b/TaskFlowDocs/todo.md @@ -35,10 +35,24 @@ has an issue number or URL. +## 排查任务版本 Git 回退点检查的子模块忽略规则及子目录 root + +- ID: TF-20261112-f593c5 +- Status: inbox +- Priority: normal +- Owner: Unknown +- Source: direct user request +- Kind: defect +- Added: 2026-11-12 +- Updated: 2026-11-12 +- Goal: 排查任务版本 Git 回退点检查的子模块忽略规则及子目录 root 边界 +- Task: Not promoted. +- Next action: Clarify and promote when ready. + ## 调查并修复 TaskFlow 能力选择与计划审查未解决实际问题,复 - ID: TF-20261112-21a0ce -- Status: promoted +- Status: in_progress - Priority: normal - Owner: Unknown - Source: user:2026-11-12 From 84f4950b99db7ae8def25eb97ce9a0281fd90176 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 11:54:25 +0800 Subject: [PATCH 08/18] docs: record Linux smoke coverage --- TaskFlowDocs/2026-11-12-capability-outcomes/plan.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md index 3a6b79b..8d0d516 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md @@ -214,6 +214,8 @@ - 2026-11-13:在新提示下补验审查阶段,`code-review-and-quality` 相关命令完成、退出码 0 且有输出;模型以源码为依据再次指出子模块忽略和子目录 root 候选,明确本轮只读未执行复现。子模块候选此前已独立复现,子目录是否受支持仍需核实。尽管测试进程设置 Git 全局/XDG 配置到夹具,模型报告 Git 曾尝试用户级 ignore 文件且被系统拒绝;该隔离策略未完全控制 Git 的间接读取,不能声称完全隔离。测试插件和测试市场通过 Codex 命令移除,只删除预检不存在的测试信任项并核对其余配置结构不变。 +- 2026-11-13:用 WSL Ubuntu 在项目内、基于已提交版本 `fceeef5` 的独立 Git 副本运行 Linux Bash smoke,临时目录均放在该副本内。原样运行通过版本回退点、生命周期、无解释器等检查后,在归档不可写目录测试失败;在同一挂载点实测 `chmod a-w` 后仍可创建文件,表明 Windows 磁盘的 WSL 挂载无法构造该测试前提。仅在一次性测试副本中将该条断言明确标记 SKIP 后续跑,全部后续检查到达 `ALL SMOKE PASSED`,包括本次 prompt-reminder 的活动任务、无任务入口、顺序、只读和五宿主配置接线。由于有一项跳过,这不是完整无跳过通过;产品仓库测试脚本未删除或放宽该断言。Linux 测试副本已删除。 + ## Change Log - 2026-11-12:应用户要求将工作树复制到项目 `.worktrees/capability-outcomes`,逐文件校验后修复 Git 登记。Codex 应用拒绝附加非托管工作树;旧目录保留,后续命令须显式使用项目内路径。 From f9c5af41c01cc5e9c4671f6c6271ebe387d84797 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 11:58:48 +0800 Subject: [PATCH 09/18] docs: record complete Linux smoke validation --- TaskFlowDocs/2026-11-12-capability-outcomes/plan.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md index 8d0d516..a1d52e0 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md @@ -216,6 +216,8 @@ - 2026-11-13:用 WSL Ubuntu 在项目内、基于已提交版本 `fceeef5` 的独立 Git 副本运行 Linux Bash smoke,临时目录均放在该副本内。原样运行通过版本回退点、生命周期、无解释器等检查后,在归档不可写目录测试失败;在同一挂载点实测 `chmod a-w` 后仍可创建文件,表明 Windows 磁盘的 WSL 挂载无法构造该测试前提。仅在一次性测试副本中将该条断言明确标记 SKIP 后续跑,全部后续检查到达 `ALL SMOKE PASSED`,包括本次 prompt-reminder 的活动任务、无任务入口、顺序、只读和五宿主配置接线。由于有一项跳过,这不是完整无跳过通过;产品仓库测试脚本未删除或放宽该断言。Linux 测试副本已删除。 +- 2026-11-13:为补验 WSL Windows 挂载不执行 chmod 的断言,在项目内临时目录建立仅该次进程可见的用户、挂载及网络命名空间,在其中挂载临时 Linux 文件系统;以去除 DAC 绕过能力的进程实测去写权限后写入被拒绝。将当前提交代码归档到该临时挂载的独立 Git 夹具,未修改 smoke 脚本,完整运行 `hooks/smoke-test`,包含不可写目录断言、五宿主接线和提醒回归,最终 `ALL SMOKE PASSED`。进程退出后确认私有挂载消失并清理项目内测试目录。此结果补足上一轮 Windows 挂载跳过项;真实其他宿主的行为验收仍不由此推断。 + ## Change Log - 2026-11-12:应用户要求将工作树复制到项目 `.worktrees/capability-outcomes`,逐文件校验后修复 Git 登记。Codex 应用拒绝附加非托管工作树;旧目录保留,后续命令须显式使用项目内路径。 From 34dfc7ac0b8ebcb48fafd9308e01c2f75bf3d0b0 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 12:28:36 +0800 Subject: [PATCH 10/18] fix: review capability output against task scope --- TaskFlowDocs/2026-11-12-capability-outcomes/plan.md | 13 +++++++++---- hooks/prompt-reminder | 2 +- hooks/smoke-test | 2 +- 3 files changed, 11 insertions(+), 6 deletions(-) diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md index a1d52e0..7a1ae47 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md @@ -203,14 +203,14 @@ | 阶段 | 入口与可用能力 | 已观察到的行为与产物 | 反例与剩余缺口 | | --- | --- | --- | --- | | 需求定义/头脑风暴 | 阶段表的 divergent exploration;idea-refine | 真实模型调用含技能的命令退出 0;构思比较四个方向及代价和验证假设 | 方向已定的简单样本未发散;真实团队样本未验证 | -| 研究 | 阶段表的 literature and evidence review | 本地合成证据分析正确区分条件、样本和结论 | 简单计算直接回答;真实外部检索及能力选择未验证 | +| 研究 | 阶段表的 literature and evidence review | 真实模型读取 openai-docs 的命令退出 0,调用网络检索并引用官方文档;核心结论已独立核对 | 简单计算直接回答;测试记录只保留检索事件及最终引用,未逐页审计全部搜索结果 | | 设计/Spec | 阶段表的 technical specifications;spec-driven-development | 含技能的命令退出 0;草案覆盖全仓库和版本边界,但另一稿加入未确认假设 | 简单改字直接回答;必须审查并剔除越界假设,未证明技能输出直接带来质量改善 | | 规划 | 阶段表的 work breakdown;planning-and-task-breakdown | 新提示下含技能的命令退出 0,形成步骤、测试和回退;旧提示两轮未观察到该技能 | 简单改字直接回答;复测夹具不同且样本少,不构成严格因果对照 | -| 实现 | 阶段表的 incremental implementation;Python/测试能力可用 | 两个合成模块样本的边界测试均经独立复跑通过;未观察到明确专家技能读取 | 简单实现的无需专家能力反例及更复杂实现的能力选择仍待验证 | +| 实现 | 阶段表的 incremental implementation;Python/测试能力可用 | 两个合成模块样本的边界测试均经独立复跑通过;未观察到明确专家技能读取 | 简单单字符修复未观察到额外专家技能,实际提交并独立验证;更复杂任务的专家能力收益仍不确定 | | 验证审查 | 阶段表的 testing strategy and code review;code-review-and-quality | 新提示下包含审查技能的命令完成、退出 0 且有输出;静态指出已独立复现的子模块风险 | 字符计数直接回答;子模块风险此前独立复现,本轮模型未动态复现 | -| 完成归档 | 阶段表的 documentation and decision;documentation-and-adrs | 只读决策记录草稿区分事实和验证缺口;直接执行的合成归档事务并回读通过 | 简单状态请求直接回答;模型实际执行归档未通过,不能以脚本结果替代 | +| 完成归档 | 阶段表的 documentation and decision;documentation-and-adrs | 决策记录草稿区分事实和验证缺口;真实模型执行合成归档命令成功,独立回读通过 | 简单状态请求直接回答;真实归档为单次合成样本,不代表其他宿主已验证 | -候选提示在规划样本中产生了可观察的技能命令,但各阶段样本量有限;用户限制测试读取范围,真实外部检索和模型驱动完整归档仍没有可复核的通过证据。当前任务保持 in_progress。 +候选提示在规划样本中产生了可观察的技能命令,但各阶段样本量有限;在用户追加允许公开官方文档后,真实外部检索和模型驱动的合成归档均获得样本;仅一次、部分阶段仍是只读模拟,不能据此推断其他宿主或长期稳定性。当前任务保持 in_progress,待最终审查和用户验收。 - 2026-11-13:在新提示下补验审查阶段,`code-review-and-quality` 相关命令完成、退出码 0 且有输出;模型以源码为依据再次指出子模块忽略和子目录 root 候选,明确本轮只读未执行复现。子模块候选此前已独立复现,子目录是否受支持仍需核实。尽管测试进程设置 Git 全局/XDG 配置到夹具,模型报告 Git 曾尝试用户级 ignore 文件且被系统拒绝;该隔离策略未完全控制 Git 的间接读取,不能声称完全隔离。测试插件和测试市场通过 Codex 命令移除,只删除预检不存在的测试信任项并核对其余配置结构不变。 @@ -218,6 +218,11 @@ - 2026-11-13:为补验 WSL Windows 挂载不执行 chmod 的断言,在项目内临时目录建立仅该次进程可见的用户、挂载及网络命名空间,在其中挂载临时 Linux 文件系统;以去除 DAC 绕过能力的进程实测去写权限后写入被拒绝。将当前提交代码归档到该临时挂载的独立 Git 夹具,未修改 smoke 脚本,完整运行 `hooks/smoke-test`,包含不可写目录断言、五宿主接线和提醒回归,最终 `ALL SMOKE PASSED`。进程退出后确认私有挂载消失并清理项目内测试目录。此结果补足上一轮 Windows 挂载跳过项;真实其他宿主的行为验收仍不由此推断。 +- 2026-11-13:用户明确允许测试模型访问公开官方文档,继续禁止读取其他本机文件。真实研究场景中 `openai-docs` 命令 completed、退出 0 且有输出,网络检索有启动与完成事件;模型引用官方文档判断插件安装不等于 hook 信任,已由本任务独立核对官方文档。日志仅保留检索事件类型及最终引用,未逐页记录或审计所有搜索结果,故不能证明所有搜索中间结果均来自官方站点。 +- 真实归档场景使用合成 Git 工作树和已批准的模拟任务;首次模型正确因未提交的测试索引阻止归档。该索引在合成仓库单独提交后,模型执行 `task complete` 的命令 completed、退出 0;独立回读确认活动目录不存在、归档目录存在、Todo done 且指向归档、PRD 和 Plan completed。任务归档文档留在合成工作树未提交;本项仅是一次可控样本。 +- 简单实现反例在合成任务工作树将减一修正为加一,没有观察到额外的 Python/TDD 专家技能命令;模型报告并实际创建代码提交 `c83821b`,独立检查提交差异及 -1/0/1 三个输入通过。模型一次报告 Git 元数据沙箱写入失败后重新尝试成功,不能推断所有权限环境一致。 +- 规格草案曾将未确认的边界写成要求;将能力提示补充为核对已确认范围并标明未确认假设。重新安装测试插件并单项信任后,App Server 观察到包含新提示的 UserPromptSubmit 成功;模型的规格技能相关命令退出 0,一份完整样本将任务文档范围、撤销修改和回退点含义列为待确认,并保留对忽略文件的默认假设,不能声称范围风险完全消失。简单改字反例直接完成,已定方向反例没有发散;其一条 TaskFlow 命令退出 1,不能作为成功调用。`python evals/runner.py` PASS (6),直接 hook 输出和 Bash 语法检查通过。 + ## Change Log - 2026-11-12:应用户要求将工作树复制到项目 `.worktrees/capability-outcomes`,逐文件校验后修复 Git 登记。Codex 应用拒绝附加非托管工作树;旧目录保留,后续命令须显式使用项目内路径。 diff --git a/hooks/prompt-reminder b/hooks/prompt-reminder index 6881013..e4e4a2e 100644 --- a/hooks/prompt-reminder +++ b/hooks/prompt-reminder @@ -116,7 +116,7 @@ escape_for_json() { # nothing when a task is in flight (the four-line reminder below owns that # case). It never refuses anything: `--task` says a hard gate belongs at # `PreToolUse`, and the user chose this delivery instead. -capability_guidance='Before substantive work, match the current work against available capability descriptions (skills, tools, MCP, agents). Consider task-specific expertise as well as lifecycle guidance: for example, research, specification, work breakdown, implementation, testing, review or decision records, as relevant to this work. If a capability fits, read or invoke it through the host and review its result; otherwise work unaided.' +capability_guidance='Before substantive work, match the current work against available capability descriptions (skills, tools, MCP, agents). Consider task-specific expertise as well as lifecycle guidance: for example, research, specification, work breakdown, implementation, testing, review or decision records, as relevant to this work. If a capability fits, read or invoke it through the host and review its result against the confirmed scope; surface unconfirmed assumptions instead of treating them as requirements. Otherwise work unaided.' entrance_reminder() { local ctx diff --git a/hooks/smoke-test b/hooks/smoke-test index bb0b8e8..8b34ea5 100755 --- a/hooks/smoke-test +++ b/hooks/smoke-test @@ -7259,7 +7259,7 @@ printf '%s\n' "$rem_line" | grep -q -F -- "$(sed -n 's/^- \(2026-10-22-demo | v1 printf '%s\n' "$rem_line" | grep -q -F 'approval: approved' || { echo "FAIL reminder omits approval"; exit 1; } printf '%s\n' "$rem_line" | grep -q -F 'next: Step 1 First' || { echo "FAIL reminder omits the next Step"; exit 1; } printf '%s\n' "$rem_ctx" | grep -q -F 'change event' || { echo "FAIL reminder does not ask for classification"; exit 1; } -for rem_expected in 'available capability descriptions' 'task-specific expertise' 'read or invoke' 'work unaided'; do +for rem_expected in 'available capability descriptions' 'task-specific expertise' 'confirmed scope' 'read or invoke' 'work unaided'; do printf '%s\n' "$rem_ctx" | grep -q -F "$rem_expected" || { echo "FAIL in_progress reminder omits $rem_expected"; exit 1; } done # The permission to search belongs here rather than only in the skill: the pause From 7d2e60aebbbbc31f84760424670c22d0962b4018 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 12:51:35 +0800 Subject: [PATCH 11/18] docs: record final capability validation gaps --- .../2026-11-12-capability-outcomes/plan.md | 20 ++++++++++++------- 1 file changed, 13 insertions(+), 7 deletions(-) diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md index 7a1ae47..9e77074 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md @@ -59,8 +59,8 @@ - Implementation checklist: - [x] 对照本次失败、digdig 历史案例与旧任务测试范围。 - [x] 明确真实测试的数据边界并获得用户授权。 - - [ ] 依照用户批准的监控方式执行可复核的普通开发任务基线。 - - [ ] 归纳已证实原因与待验证假设。 + - [x] 依照用户批准的监控方式执行可复核的普通开发任务基线。 + - [x] 归纳已证实原因与待验证假设。 - Acceptance: 每条结论有证据来源和限制;不把离线字符串测试描述为模型测试。 - Verification: 复核事件、工具调用和实际产物。 - Rollback: 更正任务记录,不改写历史会话。 @@ -72,9 +72,9 @@ - Dependencies: 本版本 PRD、Spec、Plan 经用户批准;Step 1 的可复核基线及其限制已记录。 - Files: `hooks/prompt-reminder`、`skills/taskflow/SKILL.md`;若验证发现需要,调整已有宿主连线和 `skills/taskflow/references/runtime.md`。 - Implementation checklist: - - [ ] 为 planning、in_progress、checking 和无活动任务的开发入口审查提示时机与内容,保持只读任务、无适用能力和同阶段继续工作的合理路径;不得虚构具体阶段。 - - [ ] 在阶段概念中补充 Spec 编写等能匹配实际技能描述的用途;保留 TaskFlow 固定标题及任务文件作为唯一事实源。 - - [ ] 不新增调用记录字段、技能名称白名单或硬门禁;如需超出规格的机制,先修订规格并重新取得批准。 + - [x] 为 planning、in_progress、checking 和无活动任务的开发入口审查提示时机与内容,保持只读任务、无适用能力和同阶段继续工作的合理路径;不得虚构具体阶段。 + - [x] 在阶段概念中补充 Spec 编写等能匹配实际技能描述的用途;保留 TaskFlow 固定标题及任务文件作为唯一事实源。 + - [x] 不新增调用记录字段、技能名称白名单或硬门禁;如需超出规格的机制,先修订规格并重新取得批准。 - Acceptance: 七阶段各有明确入口;提示要求检查描述、适用时先调用并审核结果;无合适能力可自行完成。既有状态、无任务及非开发请求语义不退化。 - Verification: 对照 Spec 七阶段矩阵、现有宿主 hook 表和现有 prompt-reminder 输出。 - Rollback: 恢复本 Step 相关文件至版本基线,保留用户文件及任务记录。 @@ -87,8 +87,8 @@ - Files: `hooks/smoke-test`、必要的现有宿主测试与配置。 - Implementation checklist: - [ ] 覆盖 planning、in_progress、checking、无任务、多任务及非开发场景,验证状态输出、能力引导、unaided 和既有提示兼容;检验 hook 不修改工作区或 Git 状态。 - - [ ] 运行 `bash hooks/smoke-test <项目内测试夹具目录>`、`python evals/runner.py`、`git diff --check` 和仓库要求的 skill 校验;记录环境失败及回归。 - - [ ] 对照五个已声明宿主的提示入口,缺失或宿主不支持时核实并记录,不能仅按配置推断真实运行。 + - [x] 运行 `bash hooks/smoke-test <项目内测试夹具目录>`、`python evals/runner.py`、`git diff --check` 和仓库要求的 skill 校验;记录环境失败及回归。 + - [x] 对照五个已声明宿主的提示入口,缺失或宿主不支持时核实并记录,不能仅按配置推断真实运行。 - Acceptance: 定向测试和适用本地检查通过;静态断言只证明提示契约。 - Verification: 记录命令、结果与保留的测试证据;PR CI 覆盖三平台。 - Rollback: 回滚本 Step 的测试与连线变更,不改变基线断言以掩盖失败。 @@ -223,6 +223,12 @@ - 简单实现反例在合成任务工作树将减一修正为加一,没有观察到额外的 Python/TDD 专家技能命令;模型报告并实际创建代码提交 `c83821b`,独立检查提交差异及 -1/0/1 三个输入通过。模型一次报告 Git 元数据沙箱写入失败后重新尝试成功,不能推断所有权限环境一致。 - 规格草案曾将未确认的边界写成要求;将能力提示补充为核对已确认范围并标明未确认假设。重新安装测试插件并单项信任后,App Server 观察到包含新提示的 UserPromptSubmit 成功;模型的规格技能相关命令退出 0,一份完整样本将任务文档范围、撤销修改和回退点含义列为待确认,并保留对忽略文件的默认假设,不能声称范围风险完全消失。简单改字反例直接完成,已定方向反例没有发散;其一条 TaskFlow 命令退出 1,不能作为成功调用。`python evals/runner.py` PASS (6),直接 hook 输出和 Bash 语法检查通过。 +- 2026-11-13:最终提示 `34dfc7a` 的真实宿主回归:规划、构思、审查、决策记录及官方文档研究分别发起包含适用技能的命令,均记录 completed、退出 0、有输出;模型分别给出步骤与边界、多个方向及验证、子模块风险、区分事实和缺口的决策草稿、带官方链接的研究结论。规格样本也读取相关技能,将三项口径列为待确认,但仍提出忽略文件默认值,不能断言所有假设均被识别。真实实现样本生成函数及四项测试,独立复跑通过;未观察到 Python/TDD 专家技能读取。简单单字符修复创建测试提交 `7b23d45`,独立核对差异及边界通过。已定方向、改字、状态、计算及字符计数等反例未出现强迫发散;这些都是有限样本,不构成成功率或跨宿主保证。 +- 当前机器命令发现 Claude Code 2.1.311 和 Codex 可用,CodeBuddy、dsh、Trae 命令未发现。用户对真实模型测试的授权指向 OpenAI,未向 Claude Code 发送测试材料;五宿主接线与桥接由自动测试验证,除 Codex 外不声称真实宿主行为通过。 +- `34dfc7a` 未修改脚本的 Linux 全量 smoke 在项目内私有临时挂载中通过,无跳过:包括不可写目录、能力提示和 host parity;Windows 全量 smoke 在最终提示版本通过(退出 0),包括七个 Codex hook 的双 shell 启动、生命周期、宿主接线及开放 stdin;测试进程设置 `GIT_CEILING_DIRECTORIES` 隔离外层仓库。`git diff --check` 通过。 + +- 最终验收复核:规格样本的技能命令含多项操作且未保留可审计的技能输出,无法证明方法对规格的具体贡献;实现样本未观察到适用专家技能读取;受控对照未完成固定条件及盲评。当前不能将 Step 4 或任务标为通过,也不能用已有提示断言代替上述证据。 + ## Change Log - 2026-11-12:应用户要求将工作树复制到项目 `.worktrees/capability-outcomes`,逐文件校验后修复 Git 登记。Codex 应用拒绝附加非托管工作树;旧目录保留,后续命令须显式使用项目内路径。 From 7218bfa63f646e4bb5b5049cc2613c66f0b37cc1 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 13:57:47 +0800 Subject: [PATCH 12/18] feat: add privacy-safe diagnostic logs --- README.md | 5 + README.zh-CN.md | 5 + .../2026-11-13-diagnostic-logs/plan.md | 116 ++++++++++++++++++ .../2026-11-13-diagnostic-logs/prd.md | 52 ++++++++ .../2026-11-13-diagnostic-logs/spec.md | 40 ++++++ TaskFlowDocs/todo.md | 14 +++ hooks/README.md | 3 + hooks/diagnostic-event | 60 +++++++++ hooks/diagnostic-log | 41 +++++++ hooks/hooks-codebuddy.json | 27 ++++ hooks/hooks-codex.json | 36 ++++++ hooks/hooks-dsh.json | 24 ++++ hooks/hooks-trae.json | 27 ++++ hooks/hooks.json | 36 ++++++ hooks/smoke-test | 19 ++- hooks/smoke-test-windows.ps1 | 3 + hooks/test-diagnostic-log | 72 +++++++++++ skills/taskflow/SKILL.md | 4 + skills/taskflow/references/runtime.md | 3 + 19 files changed, 585 insertions(+), 2 deletions(-) create mode 100644 TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md create mode 100644 TaskFlowDocs/2026-11-13-diagnostic-logs/prd.md create mode 100644 TaskFlowDocs/2026-11-13-diagnostic-logs/spec.md create mode 100644 hooks/diagnostic-event create mode 100644 hooks/diagnostic-log create mode 100644 hooks/test-diagnostic-log diff --git a/README.md b/README.md index e8e8168..76a7fec 100644 --- a/README.md +++ b/README.md @@ -16,6 +16,11 @@ +## Optional diagnostic log + +TaskFlow diagnostics are off by default. From the affected repository, ask the TaskFlow agent to enable diagnostics, or run `bash /hooks/diagnostic-log enable` to enable them and `bash /hooks/diagnostic-log disable` to stop recording. Export to a new local file with `bash /hooks/diagnostic-log export /path/to/new-file.jsonl`; the export is never uploaded. Export requires a filesystem supporting hard links. Only fixed event categories, result categories and UTC timestamps are stored; no prompts, commands, paths, code, personal data, tool output or arbitrary capability names are recorded. Recording stops when the log reaches approximately 1 MiB; asynchronous events can be lost. For a few fixed skill names, a shell command is classified as a mention without retaining the command; a mention does not prove a read succeeded. Hosts expose different events; missing records do not establish that a capability was not used or why the model chose it. + + > [!IMPORTANT] > **TaskFlow is a workflow convention, not an Agent.** It does not select tools or take decisions itself. It may coordinate with host/harness hooks (Claude Code, Codex CLI, CodeBuddy, dsh, and Trae) for bounded bookkeeping and context summaries; hooks never write core documents and never approve. It gives humans and Agents a shared, inspectable place to record what a task means and how it changed. diff --git a/README.zh-CN.md b/README.zh-CN.md index 5be2d32..9a0c0ae 100644 --- a/README.zh-CN.md +++ b/README.zh-CN.md @@ -16,6 +16,11 @@ +## 可选诊断日志 + +TaskFlow 诊断日志默认关闭。在相关仓库中请 TaskFlow Agent 启用诊断日志,或运行 `bash <已安装的 TaskFlow 路径>/hooks/diagnostic-log enable` 启用,运行 `bash <已安装的 TaskFlow 路径>/hooks/diagnostic-log disable` 停止记录;使用 `bash <已安装的 TaskFlow 路径>/hooks/diagnostic-log export /path/to/new-file.jsonl` 导出到新的本地文件,导出不会自动上传;导出目标所在文件系统须支持硬链接。日志只保存固定事件类别、结果类别和 UTC 时间,不记录提示词、命令、路径、代码、个人信息、工具输出或任意能力名称。日志达到约 1 MiB 后停止写入;记录异步执行,事件可能丢失。对于少数固定技能名,只从 shell 命令中提取“被提及”的固定类别,不保存命令;被提及不代表读取成功。各宿主可提供的事件不同;缺少记录不能证明未使用能力,也不能解释模型选择原因。 + + > [!IMPORTANT] > **TaskFlow 是流程约定,不是 Agent。** 它不选择工具、也不替 Agent 决策。它可与宿主/工具链 hook(Claude Code、Codex CLI、CodeBuddy、dsh 与 Trae)协作做有边界的记账和上下文摘要;hook 绝不写核心文档、绝不代为批准。它为人和 Agent 提供一个共同的、可检查的地方,记录任务是什么以及它如何变化。 diff --git a/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md b/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md new file mode 100644 index 0000000..72027b3 --- /dev/null +++ b/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md @@ -0,0 +1,116 @@ +# Plan — TaskFlow 脱敏诊断日志与导出 +> Task version: v1 +> Status: in_progress + +## Spec Pointers + +- `spec.md` + +## Reference Pointers + +- [Reinforce] `CODE_STYLE.md` — 代码风格、隐私及兼容约束。 + +## Related Tasks + +- 关联 `TaskFlowDocs/2026-11-12-capability-outcomes/` v1:日志为后续正式安装排查提供独立交付;不宣称完成原任务的行为验收。 + +## Skills / Tools Used + +- [PRD] Declared `agent-skills:spec-driven-development` — purpose: 形成可验收的需求和隐私边界;outcome: 区分可观测事件、未知原因和导出;incorporated: PRD 要求及验收。 +- [Spec] Declared `agent-skills:spec-driven-development` — purpose: 设计事件和数据边界;outcome: 允许列表、重新校验、失败语义;incorporated: Spec。 +- [Plan] Declared `agent-skills:planning-and-task-breakdown` — purpose: 设计依赖顺序及可验证步骤;outcome: 拆分事件核实、实现和独立验收;incorporated: Steps。 +- [Test] Declared `agent-skills:security-and-hardening` — purpose: 考虑敏感输入和信任边界;outcome: 密钥、代码、恶意记录及失败场景;incorporated: 测试要求。 +- `agent-skills:observability-and-instrumentation` — purpose: 设计可回答的问题;outcome: 事件、结果与宿主可见性分开;incorporated: Spec。 + +## Preconditions + +- 使用项目内工作树 `D:/WorkSpace/Agent/TaskFlow/.worktrees/capability-outcomes`,分支 `fix/taskflow-capability-outcomes`。 +- 已确认默认关闭、指定本地导出和允许列表;不记录用户内容,不阻塞运行。 +- 项目规则 `CONTRIBUTING.md`、`CODE_STYLE.md`;任务事实以当前文档为准。 + +## Plan Review + +- Verdict: sound — 方案覆盖已确认需求;具体宿主支持必须先验证。 +- Coverage: Step 1 核实事件及隐私契约;Step 2 实现启停、异步记录与导出;Step 3 覆盖安全、非阻塞和宿主结果;Step 4 审查、提交和交付。 +- Verifiability: 每项行为均由导出内容、可控阻塞测试和宿主事件检查;无法观察的原因不宣称已知。 +- Layer ownership: 宿主决定可见事件,TaskFlow 负责允许列表、非阻塞采集与安全导出,用户负责正式安装后的实际场景测试。 + +## Approval + +- Status: approved +- Approved by: user +- Approved at: 2026-11-13 13:29 +0800 +- Approved version: v1 +- Approved scope: PRD / Spec / Plan + +## Steps + +### Step 1 — 核实宿主事件与数据边界 + +- Goal: 确认可记录事件、异步机制和具体隐私边界。 +- Dependencies: v1 方案获批。 +- Files: 宿主 hook 配置与运行时说明。 +- Implementation checklist: + - [x] 核对宿主事件、异步语义及覆盖限制,确定固定事件与能力分类。 +- Acceptance: 每个字段均有来源和允许范围,不能推断的事实明确标未知。 +- Verification: 接线与受控事件对照。 +- Rollback: 只更正任务记录。 +- Status: done + +### Step 2 — 实现诊断与导出 + +- Goal: 实现默认关闭、非阻塞记录和安全的本地导出。 +- Dependencies: Step 1。 +- Files: `hooks/`、宿主配置、TaskFlow skill、README。 +- Implementation checklist: + - [x] 实现用户启停、异步固定枚举记录和安全导出;更新用户说明。 +- Acceptance: 不写用户内容;导出仅写指定新文件;不自动上传。 +- Verification: 功能与格式测试。 +- Rollback: 回退本步骤提交,不删除用户日志。 +- Status: done + +### Step 3 — 安全、非阻塞与真实宿主验证 + +- Goal: 验证泄露防护、日志故障和实际事件路径。 +- Dependencies: Step 2。 +- Files: 现有测试与项目内临时夹具。 +- Implementation checklist: + - [x] 测试敏感输入、恶意记录、默认关闭、导出失败、并发和受控阻塞。 + - [ ] 运行适用 smoke、离线评估和至少一个受授权真实宿主场景,记录覆盖边界。 +- Acceptance: 隐私和非阻塞测试通过,测试材料及宿主限制可审计。 +- Verification: 命令、结果及脱敏证据。 +- Rollback: 按授权清理本次测试夹具,保留用户数据。 +- Status: in_progress + +### Step 4 — 审查与交付 + +- Goal: 审查差异,提交版本回退点,为用户 PR 与发布准备结果。 +- Dependencies: Step 3。 +- Files: 变更及任务记录。 +- Implementation checklist: + - [ ] 完成审查、Git 提交、记录验证与限制。 +- Acceptance: 代码、说明和测试一致;不擅自推送、合并或发布。 +- Verification: `git diff --check`、Git 状态与提交检查。 +- Rollback: 按提交回退。 +- Status: pending + +## Checkpoints + +## Verification / Review + +- Windows 与 WSL 的 `hooks/test-diagnostic-log` 通过:默认关闭、后台入口、合成密钥和代码不落盘、恶意记录过滤、并发格式、固定技能及命令中提及的分类、禁覆盖和人为延迟的 Git/存储检查。事件记录采用异步旁路;合成阻塞测试验证入口在等待上限前返回,不证明所有文件系统和宿主都无延迟。 +- 在 WSL 的 Windows 挂载目录复现并发追加丢失少量事件;保留记录格式完整,日志为尽力记录而非完整审计。达到约 1 MiB 停止追加,文档已说明。 +- Windows 完整 smoke(包括最终诊断测试入口、双 shell 配置和开放 stdin)通过。`python evals/runner.py` PASS (6);WSL Python 运行技能校验通过。Windows 默认 Python 缺 PyYAML,未安装依赖。 +- 创建并临时安装本地测试插件,随后通过正式 CLI 移除插件和市场,核实缓存副本及市场均不存在,官方更新保留。当前 computer-use 技能禁止操作 Codex CLI 和安全权限界面,无法自动信任测试 hook;未完成真实宿主端到端验证,不能将其作为通过。Linux 全量 smoke 的首次夹具准备因 Windows Git 工作树路径不适用于 WSL 失败;第二次复制时误排除诊断脚本而失败,已修正排除范围后重跑。 +- 自审:日志仅输出固定枚举与生成的时间,导出重新校验、通过硬链接发布而不覆盖现有目标;不支持硬链接的目标文件系统将返回失败。提及分类仅表示工具输入含固定技能名,不证明成功读取或采用;不记录原命令。 + +## Change Log + +- 2026-11-13:用户确定默认关闭、本地指定路径导出、仅允许列表元数据;日志不阻塞被观察代码。 +- 2026-11-13:实现固定类别的命令提及识别,只保存枚举,不保存命令;与已批准范围一致,属于工作修订。 + +## Follow-ups + +## Version History + +- v1 — planning。 diff --git a/TaskFlowDocs/2026-11-13-diagnostic-logs/prd.md b/TaskFlowDocs/2026-11-13-diagnostic-logs/prd.md new file mode 100644 index 0000000..f727a91 --- /dev/null +++ b/TaskFlowDocs/2026-11-13-diagnostic-logs/prd.md @@ -0,0 +1,52 @@ +# TaskFlow 脱敏诊断日志与导出 +> Task version: v1 +> Status: in_progress + +## Goal + +为正式安装后的能力引导调查提供用户可控的诊断日志和本地导出。 + +## Task Kind + +- Kind: capability + +## Background / Confirmed Facts + +能力引导任务发现,Codex 的事件接线只能观察宿主提供的部分事件;通过 shell 读取技能不一定有可识别的技能调用事件。事件、模型决策和产物贡献不能互相等同。 + +## Requirements + +- 日志默认关闭,由用户主动开启和关闭;不自动上传。 +- 严格允许列表:仅可记录预定义的事件类型、结果、时间和经过允许列表筛选的能力标识;不记录提示词、命令、路径、代码、个人信息、密钥、工具输入输出或自由文本。 +- 日志写入或其故障不得阻塞被观察代码;明确丢失或不可观察的边界。 +- 用户可导出至指定本地文件;导出时再次校验允许的格式和字段,不读取或打包其他文件。 +- 区分 hook 到达、宿主可观察的调用事件及失败,不臆测模型内部原因或技能实际贡献。 + +## Acceptance Criteria + +- 默认关闭不产生诊断记录;启用、停用、导出在正式安装的使用方式中可操作且有说明。 +- 合成输入中嵌入代码、路径、令牌、个人信息及恶意字段后,本地日志和导出均不包含这些内容;未知字段、标识或记录不会原样落盘或导出。 +- 日志存储不可用、写入阻塞或后台进程失败时,受观察工作仍能完成;使用真实可控阻塞场景验证。 +- 真实或受控宿主事件验证 hook 到达和可观察调用;未被宿主暴露的行为明确标记为未知,而非未调用。 +- 导出只写用户指定目标,不自动发送网络;覆盖、失败和敏感数据边界有测试。 + +## External Facts + +- Depends on external facts: no +- Why not: 已有接线与能力范围见 `hooks/hooks-codex.json`、`hooks/capability-evidence`;实现不依赖其他宿主未验证的承诺。 + +## In Scope + +日志配置、脱敏事件记录、本地导出、测试和使用说明。 + +## Out of Scope + +记录用户代码或完整会话;推断模型内部意图;自动上传;替代现有能力门禁或假定覆盖所有宿主事件。 + +## Risks / Deferred Items + +异步记录可能丢失事件;默认关闭的时间段不可追溯;宿主未暴露的调用无法被日志证明。 + +## Open Questions + +具体宿主可见事件及其失败语义以实现前逐项核实为准,不得虚构。 diff --git a/TaskFlowDocs/2026-11-13-diagnostic-logs/spec.md b/TaskFlowDocs/2026-11-13-diagnostic-logs/spec.md new file mode 100644 index 0000000..bcc4a98 --- /dev/null +++ b/TaskFlowDocs/2026-11-13-diagnostic-logs/spec.md @@ -0,0 +1,40 @@ +# Spec — TaskFlow 脱敏诊断日志与导出 +> Task version: v1 + +## Objective and Success Criteria + +以最小可观测元数据诊断真实宿主事件,并提供明确、可测试的隐私和非阻塞边界。 + +## Architecture Boundaries and Responsibilities + +宿主负责实际投递事件,TaskFlow 仅记录接收到的已知事件;记录器不读取会话或其他日志,不推断模型思维。导出只处理本模块的结构化数据并重新校验。 + +## Project Structure / Affected Files + +复用 `hooks/` 及各宿主现有事件接线;按实际需要补充日志命令、自动测试、TaskFlow skill 和中英文 README。不得修改用户 Agent 配置目录。 + +## Interfaces, Data Flow, and Contracts + +提供用户可发现的启用、停用和导出命令。默认无配置视为关闭;启用状态与日志存放于任务工作区的本地 Git 元数据,不进入 Git 提交。事件进入记录器前必须降为固定枚举;未知值统一归为 unknown 或丢弃,绝不保存原值。能力标识只有硬编码允许值可写,其余使用类别或 unknown,不将任意宿主名字、路径或哈希作为安全替代。 + +记录采用结构化单行格式,字段和可取值均严格白名单;时间仅由记录器生成。绝不将原始输入、错误消息或命令参数写入。导出重新解析并重建允许字段,拒绝或跳过异常记录;目标已存在时不覆盖,失败不留下看似成功的导出。 + +## Invariants and Compatibility + +日志记录是可选、异步且可丢失的旁路;日志输出的任何磁盘 IO 或等待不得发生在受观察执行路径。不得依赖新增的兼容代码或外部依赖。仅对实际宿主提供且验证的事件声称覆盖。 + +## Validation and Error Semantics + +测试包含默认关闭、启停、导出与已有目标、结构化允许列表、带令牌和私人信息的输入、篡改的本地记录、并发、不可写存储和可控长时间阻塞的写入;验证被观察流程及时完成且输出未变。测量和记录受控真实宿主投递,明确无法证明 skill 内容已采纳或解释未观察到的调用。 + +## Code and Test Constraints + +复用既有测试框架;不接触用户个人文件或凭据。运行适用 smoke、离线评估及 `git diff --check`,如宿主或环境不可用则保留未验证状态。 + +## Design Decisions and Alternatives + +选择默认关闭、固定枚举、用户指定本地导出;较宽泛的正则脱敏不能保证未知密钥和代码安全,因此不将原始内容交给日志存储。诊断所需的细节与严格隐私冲突时保留隐私边界并公开可观察性限制。 + +## Open Questions + +不同宿主的异步投递和事件字段需先以现有运行时实现及验证结果确定;不以静态配置代替真实宿主验证。 diff --git a/TaskFlowDocs/todo.md b/TaskFlowDocs/todo.md index 358d19e..2fcedcc 100644 --- a/TaskFlowDocs/todo.md +++ b/TaskFlowDocs/todo.md @@ -35,6 +35,20 @@ has an issue number or URL. +## 增加脱敏且不阻塞运行的 TaskFlow 诊断日志和用户导出能力, + +- ID: TF-20261113-5681c7 +- Status: in_progress +- Priority: normal +- Owner: Unknown +- Source: direct user request +- Kind: capability +- Added: 2026-11-13 +- Updated: 2026-11-13 +- Goal: 增加脱敏且不阻塞运行的 TaskFlow 诊断日志和用户导出能力,用于正式安装后调查能力引导与调用问题 +- Task: `TaskFlowDocs/2026-11-13-diagnostic-logs/` +- Next action: Complete PRD / Spec / Plan and request approval. + ## 排查任务版本 Git 回退点检查的子模块忽略规则及子目录 root - ID: TF-20261112-f593c5 diff --git a/hooks/README.md b/hooks/README.md index 5205812..b02abef 100644 --- a/hooks/README.md +++ b/hooks/README.md @@ -19,6 +19,9 @@ taskflow/hooks/ ├── merge-todo # the driver: merges TaskFlowDocs/todo.md by entry ├── summarize-state # derives the state summary (shared logic) ├── repository-docs-context # syncs index metadata and derives routes +├── diagnostic-event # launches the best-effort redacted event worker +├── diagnostic-log # enables, disables and exports diagnostic records +├── test-diagnostic-log # privacy, export and nonblocking fixture ├── capability-evidence # records observable capability invocations ├── external-evidence # records outside URLs from tool events ├── capability-gate # refuses a stage document's first body write diff --git a/hooks/diagnostic-event b/hooks/diagnostic-event new file mode 100644 index 0000000..e2e6da9 --- /dev/null +++ b/hooks/diagnostic-event @@ -0,0 +1,60 @@ +#!/usr/bin/env bash +# Diagnostic writes run in a detached worker; the hook itself does no log I/O. +set -u +HERE="$(cd "$(dirname "$0")" && pwd)" +if [ "${1:-}" != worker ]; then + bash "$HERE/diagnostic-event" worker <&0 >/dev/null 2>&1 & + exit 0 +fi +umask 077 +payload="$(cat)" || exit 0 +field() { printf '%s' "$payload" | bash "$HERE/json-field" "$1" 2>/dev/null; } +root="$(field cwd)" || exit 0 +[ -n "$root" ] || root="$PWD" +gitdir="$(git -C "$root" rev-parse --absolute-git-dir 2>/dev/null)" || exit 0 +store="$gitdir/taskflow/diagnostics" +[ ! -L "$gitdir/taskflow" ] && [ ! -L "$store" ] || exit 0 +[ -f "$store/enabled" ] && [ ! -L "$store/enabled" ] || exit 0 +[ "$(cat "$store/enabled" 2>/dev/null)" = on ] || exit 0 +[ ! -L "$store/events" ] || exit 0 +[ ! -e "$store/events" ] || [ -f "$store/events" ] || exit 0 +name="$(field hook_event_name)" || exit 0 +tool="$(field tool_name)" || exit 0 +case "$name" in + SessionStart) event=session; result=observed; kind=none ;; + UserPromptSubmit) event=prompt; result=observed; kind=none ;; + SubagentStart) event=agent; result=observed; kind=agent ;; + PostToolUse|PostToolUseFailure) + event=tool + case "$name" in PostToolUse) result=observed ;; *) result=failed ;; esac + case "$tool" in Skill|skill) kind=skill ;; Agent|Task) kind=agent ;; mcp__*) kind=mcp ;; Bash|PowerShell|shell|shell_command|exec_command) kind=shell ;; *) kind=other ;; esac ;; + *) exit 0 ;; +esac +capability=unknown +if [ "$kind" = skill ]; then + skill="$(field tool_input.skill)" || exit 0 + [ -n "$skill" ] || skill="$(field tool_input.name)" || exit 0 + case "$skill" in + agent-skills:spec-driven-development) capability=spec ;; + agent-skills:idea-refine) capability=brainstorm ;; + agent-skills:planning-and-task-breakdown) capability=planning ;; + agent-skills:code-review-and-quality) capability=review ;; + esac +elif [ "$kind" = shell ]; then + command="$(field tool_input.command)" || exit 0 + [ -n "$command" ] || command="$(field tool_input.cmd)" || exit 0 + case "$command" in + *spec-driven-development*) capability=spec_mention ;; + *idea-refine*) capability=brainstorm_mention ;; + *planning-and-task-breakdown*) capability=planning_mention ;; + *code-review-and-quality*) capability=review_mention ;; + esac +fi +# Bounded growth: drop new events after the limit rather than delete logs. +if [ -f "$store/events" ]; then + bytes="$(wc -c < "$store/events" 2>/dev/null)" || exit 0 + [ "$bytes" -lt 1048576 ] || exit 0 +fi +stamp="$(date -u +%Y-%m-%dT%H:%M:%SZ)" || exit 0 +printf '%s|%s|%s|%s|%s\n' "$stamp" "$event" "$result" "$kind" "$capability" >> "$store/events" 2>/dev/null || : +exit 0 diff --git a/hooks/diagnostic-log b/hooks/diagnostic-log new file mode 100644 index 0000000..29e00fd --- /dev/null +++ b/hooks/diagnostic-log @@ -0,0 +1,41 @@ +#!/usr/bin/env bash +# User-controlled, worktree-local diagnostic logging and export. +set -euo pipefail +umask 077 +usage() { echo 'Usage: bash hooks/diagnostic-log enable|disable|export ' >&2; exit 2; } +[ "$#" -ge 1 ] || usage +command="$1"; shift +case "$command" in enable|disable) [ "$#" -eq 0 ] || usage ;; export) [ "$#" -eq 1 ] || usage ;; *) usage ;; esac +gitdir="$(git rev-parse --absolute-git-dir)" +store="$gitdir/taskflow/diagnostics" +[ ! -L "$gitdir/taskflow" ] && [ ! -L "$store" ] || { echo 'Invalid diagnostic directory' >&2; exit 1; } +case "$command" in + enable) + mkdir -p "$store" + [ ! -L "$store/enabled" ] && { [ ! -e "$store/enabled" ] || [ -f "$store/enabled" ]; } || { echo 'Invalid diagnostic control file' >&2; exit 1; } + printf 'on\n' > "$store/enabled" + echo 'TaskFlow diagnostics enabled.' ;; + disable) + [ -d "$store" ] || { echo 'TaskFlow diagnostics already disabled.'; exit 0; } + [ ! -L "$store/enabled" ] && { [ ! -e "$store/enabled" ] || [ -f "$store/enabled" ]; } || { echo 'Invalid diagnostic control file' >&2; exit 1; } + printf 'off\n' > "$store/enabled" + echo 'TaskFlow diagnostics disabled.' ;; + export) + [ -f "$store/events" ] && [ ! -L "$store/events" ] || { echo 'No diagnostic events available.' >&2; exit 1; } + target="$1" + [ ! -e "$target" ] && [ ! -L "$target" ] || { echo 'Cannot create export; choose a new file.' >&2; exit 1; } + tmp="$(mktemp "${target}.taskflow.XXXXXXXX")" || { echo 'Cannot create export.' >&2; exit 1; } + trap 'rm -f -- "$tmp"' EXIT + awk -F'|' ' + NF == 5 && $1 ~ /^[0-9][0-9][0-9][0-9]-[0-9][0-9]-[0-9][0-9]T[0-9][0-9]:[0-9][0-9]:[0-9][0-9]Z$/ && + ($2 == "session" || $2 == "prompt" || $2 == "agent" || $2 == "tool") && + ($3 == "observed" || $3 == "completed" || $3 == "failed") && + ($4 == "none" || $4 == "agent" || $4 == "skill" || $4 == "mcp" || $4 == "shell" || $4 == "other") && + ($5 == "unknown" || $5 == "spec" || $5 == "brainstorm" || $5 == "planning" || $5 == "review" || $5 == "spec_mention" || $5 == "brainstorm_mention" || $5 == "planning_mention" || $5 == "review_mention") { + printf "{\"time\":\"%s\",\"event\":\"%s\",\"result\":\"%s\",\"kind\":\"%s\",\"capability\":\"%s\"}\n", $1,$2,$3,$4,$5 + } + ' "$store/events" > "$tmp" || { echo 'Cannot prepare export.' >&2; exit 1; } + # A hard link publishes the complete file without replacing an existing target. + ln "$tmp" "$target" 2>/dev/null || { echo 'Cannot create export; choose a new file.' >&2; exit 1; } + echo 'TaskFlow diagnostics exported.' ;; +esac diff --git a/hooks/hooks-codebuddy.json b/hooks/hooks-codebuddy.json index 935c3e6..4f6fe98 100644 --- a/hooks/hooks-codebuddy.json +++ b/hooks/hooks-codebuddy.json @@ -11,6 +11,15 @@ "timeout": 15 } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "bash \"${CODEBUDDY_PLUGIN_ROOT}/hooks/diagnostic-event\"", + "timeout": 15 + } + ] } ], "UserPromptSubmit": [ @@ -22,6 +31,15 @@ "timeout": 15 } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "bash \"${CODEBUDDY_PLUGIN_ROOT}/hooks/diagnostic-event\"", + "timeout": 15 + } + ] } ], "PreToolUse": [ @@ -65,6 +83,15 @@ "timeout": 15 } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "bash \"${CODEBUDDY_PLUGIN_ROOT}/hooks/diagnostic-event\"", + "timeout": 15 + } + ] } ] } diff --git a/hooks/hooks-codex.json b/hooks/hooks-codex.json index dd17b80..90dad1f 100644 --- a/hooks/hooks-codex.json +++ b/hooks/hooks-codex.json @@ -11,6 +11,15 @@ "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" session-start" } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "bash \"${PLUGIN_ROOT}/hooks/diagnostic-event\"", + "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" diagnostic-event" + } + ] } ], "SubagentStart": [ @@ -22,6 +31,15 @@ "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" capability-evidence" } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "bash \"${PLUGIN_ROOT}/hooks/diagnostic-event\"", + "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" diagnostic-event" + } + ] } ], "UserPromptSubmit": [ @@ -33,6 +51,15 @@ "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" prompt-reminder" } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "bash \"${PLUGIN_ROOT}/hooks/diagnostic-event\"", + "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" diagnostic-event" + } + ] } ], "PreToolUse": [ @@ -77,6 +104,15 @@ "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" external-evidence" } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "bash \"${PLUGIN_ROOT}/hooks/diagnostic-event\"", + "commandWindows": "cmd.exe /d /c call \"${PLUGIN_ROOT}\\hooks\\run-hook.cmd\" diagnostic-event" + } + ] } ] } diff --git a/hooks/hooks-dsh.json b/hooks/hooks-dsh.json index 6f95009..6fdcec9 100644 --- a/hooks/hooks-dsh.json +++ b/hooks/hooks-dsh.json @@ -10,6 +10,14 @@ "command": "CLAUDE_PLUGIN_ROOT='${CLAUDE_PLUGIN_ROOT}' bash '${CLAUDE_PLUGIN_ROOT}/hooks/run-hook.cmd' session-start" } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "CLAUDE_PLUGIN_ROOT='${CLAUDE_PLUGIN_ROOT}' bash '${CLAUDE_PLUGIN_ROOT}/hooks/run-hook.cmd' diagnostic-event" + } + ] } ], "UserPromptSubmit": [ @@ -20,6 +28,14 @@ "command": "CLAUDE_PLUGIN_ROOT='${CLAUDE_PLUGIN_ROOT}' bash '${CLAUDE_PLUGIN_ROOT}/hooks/run-hook.cmd' prompt-reminder" } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "CLAUDE_PLUGIN_ROOT='${CLAUDE_PLUGIN_ROOT}' bash '${CLAUDE_PLUGIN_ROOT}/hooks/run-hook.cmd' diagnostic-event" + } + ] } ], "PreToolUse": [ @@ -50,6 +66,14 @@ "command": "CLAUDE_PLUGIN_ROOT='${CLAUDE_PLUGIN_ROOT}' bash '${CLAUDE_PLUGIN_ROOT}/hooks/run-hook.cmd' external-evidence" } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "CLAUDE_PLUGIN_ROOT='${CLAUDE_PLUGIN_ROOT}' bash '${CLAUDE_PLUGIN_ROOT}/hooks/run-hook.cmd' diagnostic-event" + } + ] } ] } diff --git a/hooks/hooks-trae.json b/hooks/hooks-trae.json index 0f8aae3..807ca4a 100644 --- a/hooks/hooks-trae.json +++ b/hooks/hooks-trae.json @@ -12,6 +12,15 @@ "timeout": 30 } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "bash '/hooks/run-hook.cmd' diagnostic-event", + "timeout": 30 + } + ] } ], "UserPromptSubmit": [ @@ -23,6 +32,15 @@ "timeout": 30 } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "bash '/hooks/run-hook.cmd' diagnostic-event", + "timeout": 30 + } + ] } ], "PreToolUse": [ @@ -66,6 +84,15 @@ "timeout": 30 } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "bash '/hooks/run-hook.cmd' diagnostic-event", + "timeout": 30 + } + ] } ] } diff --git a/hooks/hooks.json b/hooks/hooks.json index 9d94a0f..fb0c738 100644 --- a/hooks/hooks.json +++ b/hooks/hooks.json @@ -11,6 +11,15 @@ "shell": "bash" } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "\"${CLAUDE_PLUGIN_ROOT}/hooks/run-hook.cmd\" diagnostic-event", + "shell": "bash" + } + ] } ], "UserPromptSubmit": [ @@ -22,6 +31,15 @@ "shell": "bash" } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "\"${CLAUDE_PLUGIN_ROOT}/hooks/run-hook.cmd\" diagnostic-event", + "shell": "bash" + } + ] } ], "PreToolUse": [ @@ -58,6 +76,15 @@ "async": true } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "\"${CLAUDE_PLUGIN_ROOT}/hooks/run-hook.cmd\" diagnostic-event", + "shell": "bash" + } + ] } ], "PostToolUse": [ @@ -91,6 +118,15 @@ "shell": "bash" } ] + }, + { + "hooks": [ + { + "type": "command", + "command": "\"${CLAUDE_PLUGIN_ROOT}/hooks/run-hook.cmd\" diagnostic-event", + "shell": "bash" + } + ] } ] } diff --git a/hooks/smoke-test b/hooks/smoke-test index 8b34ea5..63a52ff 100755 --- a/hooks/smoke-test +++ b/hooks/smoke-test @@ -30,6 +30,7 @@ if [ $# -eq 0 ]; then fi bash "$HERE/test-version-baseline" "$tmp/version-baseline-fixture" +bash "$HERE/test-diagnostic-log" "$tmp/diagnostic-fixture" echo "== completion-gate decides the one shared answer ==" # `archive`, `task complete`, `task state in_progress` and `task progress` all @@ -6948,6 +6949,20 @@ grep -q -F -- 'lowercase' "$HERE/../skills/taskflow/references/runtime.md" \ || { echo "FAIL runtime.md no longer states the dsh tool-name reason"; exit 1; } echo ok +echo "== diagnostic events are wired to the intended host events ==" +for diagnostic_config in hooks.json hooks-codex.json hooks-codebuddy.json hooks-dsh.json hooks-trae.json; do + diagnostic_events='SessionStart UserPromptSubmit PostToolUse' + case "$diagnostic_config" in hooks.json) diagnostic_events="$diagnostic_events PostToolUseFailure" ;; hooks-codex.json) diagnostic_events="$diagnostic_events SubagentStart" ;; esac + for diagnostic_event in $diagnostic_events; do + awk -v wanted="$diagnostic_event" ' + /^ "[[:alnum:]]+": \[/ { active = ($0 ~ "^ \"" wanted "\": \\[") } + active && /"command":.*diagnostic-event/ { found = 1 } + END { exit !found } + ' "$HERE/$diagnostic_config" || { echo "FAIL $diagnostic_config lacks diagnostic hook for $diagnostic_event"; exit 1; } + done +done +echo ok + echo "== every host whose contract matches the gate actually wires it ==" # Measured 2026-10-11: `task approve` requires a release record, and the gate was # its only writer. A host wiring no tool-call event therefore had no gate, no @@ -6971,7 +6986,7 @@ for cb_pat in '"PreToolUse"' '"matcher": "Write|Edit"' '"PostToolUse"' '"matcher || { echo "FAIL hooks/hooks-codebuddy.json is missing $cb_pat"; exit 1; } done cb_cmds="$(sed -n 's/.*"command": *"\(.*\)".*/\1/p' "$cb_json" | sed 's/\\"/"/g')" -[ "$(printf '%s\n' "$cb_cmds" | grep -c .)" -eq 6 ] \ +[ "$(printf '%s\n' "$cb_cmds" | grep -v -F diagnostic-event | grep -c .)" -eq 6 ] \ || { echo "FAIL hooks/hooks-codebuddy.json should wire six hook commands (SessionStart, UserPromptSubmit, PreToolUse, Skill, MCP, external-evidence):"; printf '%s\n' "$cb_cmds"; exit 1; } cb_root="$(cd "$HERE/.." && pwd)" cb_run() { # cb_run @@ -7101,7 +7116,7 @@ trae_root="$(cd "$HERE/.." && pwd)" # them: left in, `\"path\"` reaches the shell as a word whose characters include # two quote marks, and sh reports "not found" for a path that exists. trae_cmds="$(sed -n 's/.*"command": *"\(.*\)".*/\1/p' "$trae_json" | sed 's/\\"/"/g')" -[ "$(printf '%s\n' "$trae_cmds" | grep -c .)" -eq 6 ] \ +[ "$(printf '%s\n' "$trae_cmds" | grep -v -F diagnostic-event | grep -c .)" -eq 6 ] \ || { echo "FAIL hooks/hooks-trae.json should wire six hook commands (SessionStart, UserPromptSubmit, PreToolUse, Skill, MCP, external-evidence):"; printf '%s\n' "$trae_cmds"; exit 1; } printf '%s\n' "$trae_cmds" | grep -q "CLAUDE_PLUGIN_ROOT=''" \ || { echo "FAIL hooks/hooks-trae.json does not set CLAUDE_PLUGIN_ROOT: Trae would discard the SessionStart context silently"; exit 1; } diff --git a/hooks/smoke-test-windows.ps1 b/hooks/smoke-test-windows.ps1 index 7d6f8e1..ecb942b 100755 --- a/hooks/smoke-test-windows.ps1 +++ b/hooks/smoke-test-windows.ps1 @@ -337,6 +337,9 @@ try { # if ($env:TASKFLOW_STDIN_SELFCHECK -ne '1') { $parityRoot = Join-Path $Root 'host-parity' + $diagnosticRoot = Join-Path $Root 'diagnostic-fixture' + & "$here\run-hook.cmd" test-diagnostic-log $diagnosticRoot + if ($LASTEXITCODE -ne 0) { throw 'Diagnostic log test failed' } & "$here\run-hook.cmd" test-host-parity $parityRoot if ($LASTEXITCODE -ne 0) { throw 'host parity fixture failed' } } diff --git a/hooks/test-diagnostic-log b/hooks/test-diagnostic-log new file mode 100644 index 0000000..0f077df --- /dev/null +++ b/hooks/test-diagnostic-log @@ -0,0 +1,72 @@ +#!/usr/bin/env bash +set -euo pipefail +HERE="$(cd "$(dirname "$0")" && pwd)" +root="${1:?pass an empty project-local fixture directory}" +mkdir -p "$root" +root="$(cd "$root" && pwd)" +git -C "$root" init -q +mkdir -p "$root/TaskFlowDocs" +cd "$root" +secret='sk_test_SUPERSECRET_user@example.com_PRIVATE_CODE' +event='{"hook_event_name":"PostToolUse","tool_name":"mcp__secret_'"$secret"'","cwd":"'"$root"'","tool_input":{"command":"'"$secret"'"}}' +# An event while disabled must not create diagnostic storage. +printf '%s' "$event" | bash "$HERE/diagnostic-event" worker +[ ! -e "$root/.git/taskflow/diagnostics/events" ] +bash "$HERE/diagnostic-log" enable +printf '%s' "$event" | bash "$HERE/diagnostic-event" worker +# Exercise the real detached entry point and wait only in this test. +printf '%s' "$event" | bash "$HERE/diagnostic-event" +for i in 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20; do + [ "$(wc -l < "$root/.git/taskflow/diagnostics/events")" -ge 2 ] && break + sleep 0.2 +done +[ "$(wc -l < "$root/.git/taskflow/diagnostics/events")" -ge 2 ] +# A fixed skill can be identified, while arbitrary identifiers are never stored. +skill_event='{"hook_event_name":"PostToolUse","tool_name":"Skill","cwd":"'"$root"'","tool_input":{"skill":"agent-skills:spec-driven-development"}}' +printf '%s' "$skill_event" | bash "$HERE/diagnostic-event" worker +mention_event='{"hook_event_name":"PostToolUse","tool_name":"Bash","cwd":"'"$root"'","tool_input":{"command":"read spec-driven-development '"$secret"'"}}' +printf '%s' "$mention_event" | bash "$HERE/diagnostic-event" worker +for i in 1 2 3 4; do printf '%s' "$event" | bash "$HERE/diagnostic-event" worker & done +wait +[ "$(wc -l < "$root/.git/taskflow/diagnostics/events")" -ge 4 ] +# Concurrent best-effort writers may lose records, but may not produce partial records. +awk -F'|' 'NF != 5 { exit 1 }' "$root/.git/taskflow/diagnostics/events" +! grep -F "$secret" "$root/.git/taskflow/diagnostics/events" +# Tampered records and arbitrary event values must never be exported. +printf '%s\n' "2026-11-13T00:00:00Z|tool|observed|skill|$secret" "$secret" >> "$root/.git/taskflow/diagnostics/events" +bash "$HERE/diagnostic-log" export "$root/export.jsonl" +[ -s "$root/export.jsonl" ] +! grep -F "$secret" "$root/export.jsonl" +grep -F '"event":"tool"' "$root/export.jsonl" >/dev/null +grep -F '"capability":"spec"' "$root/export.jsonl" >/dev/null +grep -F '"capability":"spec_mention"' "$root/export.jsonl" >/dev/null +! bash "$HERE/diagnostic-log" export "$root/export.jsonl" >/dev/null 2>&1 +bash "$HERE/diagnostic-log" disable +before="$(wc -c < "$root/export.jsonl")" +printf '%s' "$event" | bash "$HERE/diagnostic-event" worker +bash "$HERE/diagnostic-log" export "$root/export2.jsonl" +[ "$(wc -c < "$root/export2.jsonl")" = "$before" ] +# A deliberately slow Git process runs only in the worker, not the hook. +mkdir "$root/slow-bin" +printf '#!/usr/bin/env bash\nsleep 5\nexit 1\n' > "$root/slow-bin/git" +chmod +x "$root/slow-bin/git" +probe_nonblocking() { + local bin="$1" probe i + printf '%s' "$event" | PATH="$bin:$PATH" bash "$HERE/diagnostic-event" & + probe=$! + for i in 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30; do + if ! kill -0 "$probe" 2>/dev/null; then wait "$probe"; return; fi + sleep 0.1 + done + kill "$probe" 2>/dev/null || : + wait "$probe" 2>/dev/null || : + echo 'FAIL diagnostic hook blocked' >&2; return 1 +} +probe_nonblocking "$root/slow-bin" +mkdir "$root/slow-write-bin" +printf '#!/usr/bin/env bash\nsleep 5\nexit 1\n' > "$root/slow-write-bin/wc" +chmod +x "$root/slow-write-bin/wc" +bash "$HERE/diagnostic-log" enable +probe_nonblocking "$root/slow-write-bin" +bash "$HERE/diagnostic-log" disable +echo 'DIAGNOSTIC TEST PASSED' diff --git a/skills/taskflow/SKILL.md b/skills/taskflow/SKILL.md index e87b7aa..b8b8a81 100644 --- a/skills/taskflow/SKILL.md +++ b/skills/taskflow/SKILL.md @@ -429,3 +429,7 @@ Before declaring a task complete, confirm: - [ ] Validation results and failure classification are in `plan.md`. - [ ] Scope, sensitive-data, and concurrent-write checks passed. - [ ] Completion gates passed before moving to `TaskFlowDocs/achieved/`. + +## Optional diagnostics + +When a user asks to enable, disable, or export TaskFlow diagnostic logs, run the installed plugin's `hooks/diagnostic-log` from the affected repository. Derive the plugin root from this skill's installed `SKILL.md` location, not from the user's repository. Use `enable`, `disable`, or `export ` respectively. Logging is off by default and does not upload. Logs contain only allowlisted event categories, results, timestamps and fixed capability categories; they exclude prompts, commands, paths, code, personal information and tool outputs. Recording is asynchronous and can lose events. Fixed skill-name mentions in shell commands are classified without retaining commands; mentions do not prove a successful read. An absent event does not prove that a capability was not used or explain the model's decision. diff --git a/skills/taskflow/references/runtime.md b/skills/taskflow/references/runtime.md index 8e1ce94..5bb5a91 100644 --- a/skills/taskflow/references/runtime.md +++ b/skills/taskflow/references/runtime.md @@ -382,6 +382,9 @@ repo-root/ ├── install-git-hygiene # per-clone Git config: Todo merge driver + local-file excludes ├── merge-todo # the driver: merges todo.md by entry ├── repository-docs-context # syncs index metadata + derives routes + ├── diagnostic-event # asynchronous allowlisted event recording + ├── diagnostic-log # user-controlled enable, disable, export + ├── test-diagnostic-log # privacy and nonblocking fixture ├── capability-evidence # records real invocations in the worktree store ├── external-evidence # records outside URLs from any tool event, in a separate store ├── capability-gate # refuses a stage document's first body write From 67617a5e7ea4cce7667ca76b2c00c0a835c471f2 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 13:59:20 +0800 Subject: [PATCH 13/18] docs: record diagnostic validation and host boundary --- TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md b/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md index 72027b3..d7b3a73 100644 --- a/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md +++ b/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md @@ -101,7 +101,7 @@ - Windows 与 WSL 的 `hooks/test-diagnostic-log` 通过:默认关闭、后台入口、合成密钥和代码不落盘、恶意记录过滤、并发格式、固定技能及命令中提及的分类、禁覆盖和人为延迟的 Git/存储检查。事件记录采用异步旁路;合成阻塞测试验证入口在等待上限前返回,不证明所有文件系统和宿主都无延迟。 - 在 WSL 的 Windows 挂载目录复现并发追加丢失少量事件;保留记录格式完整,日志为尽力记录而非完整审计。达到约 1 MiB 停止追加,文档已说明。 - Windows 完整 smoke(包括最终诊断测试入口、双 shell 配置和开放 stdin)通过。`python evals/runner.py` PASS (6);WSL Python 运行技能校验通过。Windows 默认 Python 缺 PyYAML,未安装依赖。 -- 创建并临时安装本地测试插件,随后通过正式 CLI 移除插件和市场,核实缓存副本及市场均不存在,官方更新保留。当前 computer-use 技能禁止操作 Codex CLI 和安全权限界面,无法自动信任测试 hook;未完成真实宿主端到端验证,不能将其作为通过。Linux 全量 smoke 的首次夹具准备因 Windows Git 工作树路径不适用于 WSL 失败;第二次复制时误排除诊断脚本而失败,已修正排除范围后重跑。 +- 创建并临时安装本地测试插件,随后通过正式 CLI 移除插件和市场,核实缓存副本及市场均不存在,官方更新保留。当前 computer-use 技能禁止操作 Codex CLI 和安全权限界面,无法自动信任测试 hook;未完成真实宿主端到端验证,不能将其作为通过;已再次准备临时测试插件,等待用户手动信任指定诊断 hook。Linux 全量 smoke 的首次夹具准备因 Windows Git 工作树路径不适用于 WSL 失败;第二次复制时误排除诊断脚本而失败。修正后暴露旧的固定命令数量断言和两个脚本清单未更新;补充逐宿主逐事件接线断言及清单后,在私有 tmpfs 中重跑得到 `ALL SMOKE PASSED`。 - 自审:日志仅输出固定枚举与生成的时间,导出重新校验、通过硬链接发布而不覆盖现有目标;不支持硬链接的目标文件系统将返回失败。提及分类仅表示工具输入含固定技能名,不证明成功读取或采用;不记录原命令。 ## Change Log From 74999bb63c8521f01896ad18e128af7bbfa14a07 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 14:10:59 +0800 Subject: [PATCH 14/18] docs: record real Codex diagnostic verification --- TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md | 14 ++++++++------ TaskFlowDocs/2026-11-13-diagnostic-logs/prd.md | 2 +- 2 files changed, 9 insertions(+), 7 deletions(-) diff --git a/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md b/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md index d7b3a73..968b23c 100644 --- a/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md +++ b/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md @@ -1,6 +1,6 @@ # Plan — TaskFlow 脱敏诊断日志与导出 > Task version: v1 -> Status: in_progress +> Status: checking ## Spec Pointers @@ -76,11 +76,11 @@ - Files: 现有测试与项目内临时夹具。 - Implementation checklist: - [x] 测试敏感输入、恶意记录、默认关闭、导出失败、并发和受控阻塞。 - - [ ] 运行适用 smoke、离线评估和至少一个受授权真实宿主场景,记录覆盖边界。 + - [x] 运行适用 smoke、离线评估和至少一个受授权真实宿主场景,记录覆盖边界。 - Acceptance: 隐私和非阻塞测试通过,测试材料及宿主限制可审计。 - Verification: 命令、结果及脱敏证据。 - Rollback: 按授权清理本次测试夹具,保留用户数据。 -- Status: in_progress +- Status: done ### Step 4 — 审查与交付 @@ -88,11 +88,11 @@ - Dependencies: Step 3。 - Files: 变更及任务记录。 - Implementation checklist: - - [ ] 完成审查、Git 提交、记录验证与限制。 + - [x] 完成审查、Git 提交、记录验证与限制。 - Acceptance: 代码、说明和测试一致;不擅自推送、合并或发布。 - Verification: `git diff --check`、Git 状态与提交检查。 - Rollback: 按提交回退。 -- Status: pending +- Status: done ## Checkpoints @@ -101,9 +101,11 @@ - Windows 与 WSL 的 `hooks/test-diagnostic-log` 通过:默认关闭、后台入口、合成密钥和代码不落盘、恶意记录过滤、并发格式、固定技能及命令中提及的分类、禁覆盖和人为延迟的 Git/存储检查。事件记录采用异步旁路;合成阻塞测试验证入口在等待上限前返回,不证明所有文件系统和宿主都无延迟。 - 在 WSL 的 Windows 挂载目录复现并发追加丢失少量事件;保留记录格式完整,日志为尽力记录而非完整审计。达到约 1 MiB 停止追加,文档已说明。 - Windows 完整 smoke(包括最终诊断测试入口、双 shell 配置和开放 stdin)通过。`python evals/runner.py` PASS (6);WSL Python 运行技能校验通过。Windows 默认 Python 缺 PyYAML,未安装依赖。 -- 创建并临时安装本地测试插件,随后通过正式 CLI 移除插件和市场,核实缓存副本及市场均不存在,官方更新保留。当前 computer-use 技能禁止操作 Codex CLI 和安全权限界面,无法自动信任测试 hook;未完成真实宿主端到端验证,不能将其作为通过;已再次准备临时测试插件,等待用户手动信任指定诊断 hook。Linux 全量 smoke 的首次夹具准备因 Windows Git 工作树路径不适用于 WSL 失败;第二次复制时误排除诊断脚本而失败。修正后暴露旧的固定命令数量断言和两个脚本清单未更新;补充逐宿主逐事件接线断言及清单后,在私有 tmpfs 中重跑得到 `ALL SMOKE PASSED`。 +- 创建并临时安装本地测试插件,随后通过正式 CLI 移除插件和市场,核实缓存副本及市场均不存在,官方更新保留;第二轮真实宿主测试后再次移除插件与市场,精确删除其 11 个 hook 状态并以 TOML 结构对比确认其他配置不变。当前 computer-use 技能禁止操作 Codex CLI 和安全权限界面,无法自动信任测试 hook;用户手动信任指定诊断 hook 后,在受监控合成仓库运行 `codex exec --json --sandbox read-only`,会话和答复完成、退出 0,未观察到工具调用;项目日志出现 session 和 prompt 两条事件,用户指定本地路径的 JSONL 导出仅含五个允许字段。此次未覆盖真实宿主的工具调用事件或其他宿主,不能推断其行为。Linux 全量 smoke 的首次夹具准备因 Windows Git 工作树路径不适用于 WSL 失败;第二次复制时误排除诊断脚本而失败。修正后暴露旧的固定命令数量断言和两个脚本清单未更新;补充逐宿主逐事件接线断言及清单后,在私有 tmpfs 中重跑得到 `ALL SMOKE PASSED`。 - 自审:日志仅输出固定枚举与生成的时间,导出重新校验、通过硬链接发布而不覆盖现有目标;不支持硬链接的目标文件系统将返回失败。提及分类仅表示工具输入含固定技能名,不证明成功读取或采用;不记录原命令。 +- 代码提交 `7218bfa`,检查记录提交 `67617a5`;最终验收记录将另行提交。 + ## Change Log - 2026-11-13:用户确定默认关闭、本地指定路径导出、仅允许列表元数据;日志不阻塞被观察代码。 diff --git a/TaskFlowDocs/2026-11-13-diagnostic-logs/prd.md b/TaskFlowDocs/2026-11-13-diagnostic-logs/prd.md index f727a91..092fd76 100644 --- a/TaskFlowDocs/2026-11-13-diagnostic-logs/prd.md +++ b/TaskFlowDocs/2026-11-13-diagnostic-logs/prd.md @@ -1,6 +1,6 @@ # TaskFlow 脱敏诊断日志与导出 > Task version: v1 -> Status: in_progress +> Status: checking ## Goal From 38060eb087e65dcaad9756eeb37ad766bf4f5def Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 14:14:27 +0800 Subject: [PATCH 15/18] docs: archive diagnostic log task --- .../2026-11-13-diagnostic-logs/plan.md | 2 +- .../{ => achieved}/2026-11-13-diagnostic-logs/prd.md | 2 +- .../2026-11-13-diagnostic-logs/spec.md | 0 TaskFlowDocs/todo.md | 12 +++--------- 4 files changed, 5 insertions(+), 11 deletions(-) rename TaskFlowDocs/{ => achieved}/2026-11-13-diagnostic-logs/plan.md (99%) rename TaskFlowDocs/{ => achieved}/2026-11-13-diagnostic-logs/prd.md (99%) rename TaskFlowDocs/{ => achieved}/2026-11-13-diagnostic-logs/spec.md (100%) diff --git a/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md b/TaskFlowDocs/achieved/2026-11-13-diagnostic-logs/plan.md similarity index 99% rename from TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md rename to TaskFlowDocs/achieved/2026-11-13-diagnostic-logs/plan.md index 968b23c..9ac7aae 100644 --- a/TaskFlowDocs/2026-11-13-diagnostic-logs/plan.md +++ b/TaskFlowDocs/achieved/2026-11-13-diagnostic-logs/plan.md @@ -1,6 +1,6 @@ # Plan — TaskFlow 脱敏诊断日志与导出 > Task version: v1 -> Status: checking +> Status: completed ## Spec Pointers diff --git a/TaskFlowDocs/2026-11-13-diagnostic-logs/prd.md b/TaskFlowDocs/achieved/2026-11-13-diagnostic-logs/prd.md similarity index 99% rename from TaskFlowDocs/2026-11-13-diagnostic-logs/prd.md rename to TaskFlowDocs/achieved/2026-11-13-diagnostic-logs/prd.md index 092fd76..1a652a7 100644 --- a/TaskFlowDocs/2026-11-13-diagnostic-logs/prd.md +++ b/TaskFlowDocs/achieved/2026-11-13-diagnostic-logs/prd.md @@ -1,6 +1,6 @@ # TaskFlow 脱敏诊断日志与导出 > Task version: v1 -> Status: checking +> Status: completed ## Goal diff --git a/TaskFlowDocs/2026-11-13-diagnostic-logs/spec.md b/TaskFlowDocs/achieved/2026-11-13-diagnostic-logs/spec.md similarity index 100% rename from TaskFlowDocs/2026-11-13-diagnostic-logs/spec.md rename to TaskFlowDocs/achieved/2026-11-13-diagnostic-logs/spec.md diff --git a/TaskFlowDocs/todo.md b/TaskFlowDocs/todo.md index 2fcedcc..4e44e24 100644 --- a/TaskFlowDocs/todo.md +++ b/TaskFlowDocs/todo.md @@ -38,16 +38,10 @@ has an issue number or URL. ## 增加脱敏且不阻塞运行的 TaskFlow 诊断日志和用户导出能力, - ID: TF-20261113-5681c7 -- Status: in_progress -- Priority: normal -- Owner: Unknown -- Source: direct user request -- Kind: capability -- Added: 2026-11-13 -- Updated: 2026-11-13 +- Status: done - Goal: 增加脱敏且不阻塞运行的 TaskFlow 诊断日志和用户导出能力,用于正式安装后调查能力引导与调用问题 -- Task: `TaskFlowDocs/2026-11-13-diagnostic-logs/` -- Next action: Complete PRD / Spec / Plan and request approval. +- Task: `TaskFlowDocs/achieved/2026-11-13-diagnostic-logs/` +- Next action: None — completed and archived. ## 排查任务版本 Git 回退点检查的子模块忽略规则及子目录 root From b3f8fbe96290782faaa9b870b61e25dd500fe88a Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 14:43:11 +0800 Subject: [PATCH 16/18] docs: revise capability guidance acceptance --- .../old/v1/plan.md | 246 ++++++++++++++++++ .../old/v1/prd.md | 64 +++++ .../old/v1/spec.md | 63 +++++ .../old/v1/version.md | 18 ++ .../2026-11-12-capability-outcomes/plan.md | 130 ++++----- .../2026-11-12-capability-outcomes/prd.md | 28 +- .../2026-11-12-capability-outcomes/spec.md | 24 +- TaskFlowDocs/todo.md | 2 +- 8 files changed, 469 insertions(+), 106 deletions(-) create mode 100644 TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/plan.md create mode 100644 TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/prd.md create mode 100644 TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/spec.md create mode 100644 TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/version.md diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/plan.md b/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/plan.md new file mode 100644 index 0000000..9e77074 --- /dev/null +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/plan.md @@ -0,0 +1,246 @@ +# Plan — 改善 TaskFlow 能力选择与问题解决效果 +> Task version: v1 +> Status: in_progress + +## Spec Pointers + +- `spec.md`:建议通过既有提示和阶段概念改善能力发现,保留 unaided 与现有门禁,七阶段分别验证能力选择和实际产物。 + +## Reference Pointers + +- `TaskFlowDocs/achieved/2026-11-07-repro-requirement/`:原修复的机制和机械验收。 +- `TaskFlowDocs/achieved/2026-11-10-codex-tool-guidance/`:真实失败案例与非阻断提示的验证边界。 +- `hooks/hooks-codex.json`、`hooks/capability-gate`、`hooks/prompt-reminder`、`evals/README.md`。 +- `TaskFlowDocs/repository-docs/index.md`、`CONTRIBUTING.md`、`CODE_STYLE.md`。 + +## Related Tasks + +- `TF-20261112-8dd98e`:仓库代码版本提交回退点,用户确认分开、关联并独立验收。 +- `TF-20261110-0c7346`:既有真实宿主验证任务;报告交叉范围,不擅自修改。 +- `TF-20261110-84d1a9`:流程与 Token 审视;不擅自修改。 +- `TF-20261107-5c5ee2` 和 `TF-20261110-a56e72`:已完成的历史调查,需复核其交付有效性。 + +## Skills / Tools Used + +- [PRD] Declared `agent-skills:debugging-and-error-recovery` — purpose: 重建真实失败、定位所属层;outcome: 区分记录、提示和模型行为;incorporated: 背景与验收。声明不表示宿主自动观测。 +- [Plan] Declared `agent-skills:planning-and-task-breakdown` — purpose: 按依赖拆分调查、验证和改进;outcome: 区分可观测机制与行为验证;incorporated: 调查步骤。声明不表示宿主自动观测。 +- [Spec] Unaided — 根据已读取源码和已调用技能的调查结果整理候选和边界;considered: architecture and design。阶段记录在首稿之后补录,不能声称写作前已通过门禁。 +- [Test] Unaided — 制定真实行为与隔离验证口径;considered: testing strategy。 +- 后续调查读取 `agent-skills:idea-refine`,比较实际能力选择、机制真实性和结果验证;与任务事实的决策均写入现有任务文件。 +- 后续读取 `agent-skills:spec-driven-development` 重审规格:保留 TaskFlow 的 Spec 位置与标题,检查目标、命令、项目结构、代码约束、测试策略和边界;现稿仍缺选定的实施契约、各阶段可执行验收和完整测试命令,暂不视为可审批规格。该技能是在首稿后才读取,不能追称参与首稿。 + +## Preconditions + +- 工作区 `D:/WorkSpace/Agent/TaskFlow/.worktrees/capability-outcomes`;分支 `fix/taskflow-capability-outcomes`。 +- 计划及具体方案须经用户批准后实施。 + +## Plan Review + +- Verdict: sound +- Coverage: Step 1 对应失败重建,Step 2 对应七阶段提示及兼容,Step 3 对应静态检查,Step 4 对应真实行为与产物验收,Step 5 对应交付和残留风险。七阶段中未达标的场景必须在 Step 4 保持未完成并回到 Step 2,不能以文字断言替代。 +- Verifiability: 可运行现有脚本与有监督的真实宿主对照;规格、审查、构思各有一次候选提示对照,但其提示来自测试用户而非真实 hook,尚不证明新 hook 有效。对照须同时检查提示到达、能力选择与产物;不可运行或出现越界时记录失败,不能标记验收通过。 +- Layer ownership: 能力发现提示属于 TaskFlow;方法与产物质量属于实际能力及验收。既有事件队列只证明记录,模型语义无法由字段证明;本方案不伪称修复事件错配或覆盖所有写入路径。 + +## Approval + +- Status: approved +- Approved by: user +- Approved at: 2026-11-12 19:29 +0800 +- Approved version: v1 +- Approved scope: PRD / Spec / Plan + +## Steps + +### Step 1 — 复核既有案例与真实行为基线 + +- Goal: 用历史记录和合适的实际宿主试验定位问题,记录能力选择、调查和产物。 +- Dependencies: 用户已知悉隔离限制并同意本机测试,指示仅读取测试仓库和必要技能、监控并在发现越界时中断。 +- Files: 当前任务文档和必要的脱敏样本。 +- Implementation checklist: + - [x] 对照本次失败、digdig 历史案例与旧任务测试范围。 + - [x] 明确真实测试的数据边界并获得用户授权。 + - [x] 依照用户批准的监控方式执行可复核的普通开发任务基线。 + - [x] 归纳已证实原因与待验证假设。 +- Acceptance: 每条结论有证据来源和限制;不把离线字符串测试描述为模型测试。 +- Verification: 复核事件、工具调用和实际产物。 +- Rollback: 更正任务记录,不改写历史会话。 +- Status: in_progress + +### Step 2 — 实现阶段能力引导 + +- Goal: 让既有提示要求按当前工作内容匹配实际能力,并让阶段表覆盖可用规格、探索和审查能力的概念。 +- Dependencies: 本版本 PRD、Spec、Plan 经用户批准;Step 1 的可复核基线及其限制已记录。 +- Files: `hooks/prompt-reminder`、`skills/taskflow/SKILL.md`;若验证发现需要,调整已有宿主连线和 `skills/taskflow/references/runtime.md`。 +- Implementation checklist: + - [x] 为 planning、in_progress、checking 和无活动任务的开发入口审查提示时机与内容,保持只读任务、无适用能力和同阶段继续工作的合理路径;不得虚构具体阶段。 + - [x] 在阶段概念中补充 Spec 编写等能匹配实际技能描述的用途;保留 TaskFlow 固定标题及任务文件作为唯一事实源。 + - [x] 不新增调用记录字段、技能名称白名单或硬门禁;如需超出规格的机制,先修订规格并重新取得批准。 +- Acceptance: 七阶段各有明确入口;提示要求检查描述、适用时先调用并审核结果;无合适能力可自行完成。既有状态、无任务及非开发请求语义不退化。 +- Verification: 对照 Spec 七阶段矩阵、现有宿主 hook 表和现有 prompt-reminder 输出。 +- Rollback: 恢复本 Step 相关文件至版本基线,保留用户文件及任务记录。 +- Status: in_progress + +### Step 3 — 验证提示契约与宿主覆盖 + +- Goal: 确认提示按状态输出、不产生副作用且不会损坏既有生命周期。 +- Dependencies: Step 2。 +- Files: `hooks/smoke-test`、必要的现有宿主测试与配置。 +- Implementation checklist: + - [ ] 覆盖 planning、in_progress、checking、无任务、多任务及非开发场景,验证状态输出、能力引导、unaided 和既有提示兼容;检验 hook 不修改工作区或 Git 状态。 + - [x] 运行 `bash hooks/smoke-test <项目内测试夹具目录>`、`python evals/runner.py`、`git diff --check` 和仓库要求的 skill 校验;记录环境失败及回归。 + - [x] 对照五个已声明宿主的提示入口,缺失或宿主不支持时核实并记录,不能仅按配置推断真实运行。 +- Acceptance: 定向测试和适用本地检查通过;静态断言只证明提示契约。 +- Verification: 记录命令、结果与保留的测试证据;PR CI 覆盖三平台。 +- Rollback: 回滚本 Step 的测试与连线变更,不改变基线断言以掩盖失败。 +- Status: in_progress + +### Step 4 — 真实阶段和产物验收 + +- Goal: 确认真实模型收到产品提示后,适当地使用能力并产出满足任务的结果。 +- Dependencies: Step 3;遵守用户已允许的测试范围、实时监控及官方缓存保留规则。 +- Files: 当前任务 `plan.md` 与必要的项目内测试夹具;不写产品外配置。 +- Implementation checklist: + - [ ] 按 Spec 矩阵对定义/头脑风暴、研究、Spec、Plan、实现、测试审查、完成归档分别运行或复用有证据的正反场景;记录任务、能力、hook 提示、调用和结果,区分真实阶段与只读模拟。 + - [ ] 重放 Spec 遗漏、审查及构思场景,比较现有基线与实际产品提示;检查规格边界、根因/验证及方案取舍,使用无适用能力和无需发散的负对照。 + - [ ] 任何缺口重现、产物不可靠或提示不可达时,记录原因并回到 Step 2;缺少真实宿主结果的阶段不得称作通过。 +- Acceptance: 逐阶段结果满足需求并可复核;不凭调用或声明数量宣布有效。 +- Verification: 保存最小必要调用与产物证据,标明模型不确定性、失败、使用量和未覆盖宿主。 +- Rollback: 清理本任务测试创建的夹具,保留官方插件更新及用户文件。 +- Status: pending + +### Step 5 — 交付审查与收尾 + +- Goal: 完成交付、提交回退点并如实记录限制。 +- Dependencies: Step 4 全部验收通过及用户验收。 +- Files: 任务记录、修改的产品和测试文件。 +- Implementation checklist: + - [ ] 复核差异与七阶段验收;提交至少一次本版本代码变更,必要时增加有意义的阶段提交。 + - [ ] 按 TaskFlow 完成归档与仓库 PR 流程;合并、推送及清理仅按用户已有授权执行。 +- Acceptance: 用户问题得到实际解决、回退点和验证可追溯;所有未覆盖事项明确,不虚报完成。 +- Verification: `git diff --check`、提交状态和用户验收。 +- Rollback: 按提交回退本任务变更,保留无关工作。 +- Status: pending + +## Checkpoints + +方案批准前不修改产品实现。 + +## Verification / Review + +- 已按用户授权重新安装项目内测试插件并使用交互式 Codex `/hooks` 检查:启动时有 7 条 hook 待审查,其中 `UserPromptSubmit` 的一条来源为 `taskflow@taskflow-eval-local`;只对该条选择 trust,界面显示 Trusted,其余未全部信任。正常配置、禁用正式同名插件的非交互 Codex 会话未收到夹具任务状态;相同条件的交互会话显示 `Hook failed` 且模型答复无法取得任务状态,失败消息未识别具体 hook,因此不能断言失败一定由测试插件造成。事后只读核对本次测试会话记录,发现模型违背“不调用工具”提示,调用了工具目录查询,但没有读取任务文件;记录中未发现夹具任务编号或新增能力提示,故该轮不应描述为完全无工具。 +- 测试会话可能受宿主配置/其他 hook 影响;没有识别确切的失败来源前不得宣称插件自动加载或引导有效。测试前配置与信任状态已按 SHA-256 还原,临时插件、快照和项目内夹具已删除。交互式 CLI 产生的测试会话记录尚保留;来源未明的 marketplace staging 未删除。 + +- Codex 真实宿主正对照:在项目内独立 Git 夹具,用仅本次生效的 `hooks.UserPromptSubmit` 配置和已审阅 hook 信任选项注入无副作用标识,模型在不读文件、不调用工具时准确返回 `HOOK_CONTROL_R7X42`,证明该配置路径可注入上下文。随后改为直接调用本工作树 `hooks/run-hook.cmd prompt-reminder`:planning、in_progress、checking 三个状态中,模型均在不读文件时返回夹具任务编号、版本、对应状态,并概括能力选择要求。此结果验证同一真实 Codex CLI 的临时 inline hook 送达,不证明通过安装插件的 hook 已加载,也不证明七阶段实际选择与产物质量。忽略用户配置时 shell 工具被现有策略拒绝,因而此对照不包含真实技能读取;夹具已清理。 + +- OpenAI [plugin documentation](https://developers.openai.com/plugins/build/plugins) 与 [hook trust documentation](https://developers.openai.com/codex/hooks) 说明插件安装或启用不会自动信任 hook;需在 `/hooks` 审查,或在已经审核所有启用 hook 的一次性自动化中使用临时信任选项。首次安装不触发探针与此一致,但不能单凭文档断言本机根因。 +- 对已审核的临时插件,在市场源与安装副本均插入项目内调用探针;使用忽略用户配置和一次性 hook 信任选项时探针仍未出现,且 shell 执行被宿主策略拒绝。直接用同一 Windows launcher 执行该安装副本时探针出现并输出预期提示,说明脚本本身可在该夹具下运行;仍不能确定运行时是否加载了该插件。真实 hook 送达和七阶段验收未通过。 +- 本轮插件测试结束后,先检查配置未被并发修改,再恢复测试前配置并以 SHA-256 核验;测试插件、配置备份和项目内夹具均已删除。 + +- 用户授权临时安装待测本地 TaskFlow 插件。安装后 CLI 显示启用,安装副本中的 `prompt-reminder` 起初与工作树 SHA-256 一致;真实规格场景无 hook 事件证据,模型未读取规格技能。随后仅在安装副本加入项目内文件调用探针,用默认配置和 `--ignore-user-config` 各试一次,探针均未生成;后者还阻止了 README 的 shell 读取。由于尚未证明运行时确实从被插桩副本加载 hook,不能据此断言 hook 一定未运行,但提示送达和效果均未验证。 +- 已确认测试后配置未被并发修改,恢复前后 SHA-256 与测试前备份一致;临时插件缓存、配置快照和项目内测试夹具已删除。期间出现一个来源未确认的 marketplace staging 目录,依用户要求保留不擅自删除,官方插件更新未回滚。 + +- 2026-11-12 Step 3: 提示定向测试、eval 与技能校验通过;完整测试存在主分支同样的失败 + +- 2026-11-12 Step 2: 实现已提交,七阶段真实效果尚待验证 + +- 实现提交 `0dfe57b` 和布局修正提交 `4e03912`:共享提醒覆盖无活动任务的开发入口、planning、in_progress、checking;现有阶段表补充规格编写和可验证验收的匹配描述。无新增硬门禁、能力名称白名单或证据字段。 +- 提醒相关原有 smoke 段落(包含 in_progress、checking、planning、无任务、ready、多任务、目录外静默以及强化资料顺序)定向运行通过;`python evals/runner.py` PASS (6 evals),`git diff --check` 和 Bash 语法检查通过。skill 校验用 `PYTHONUTF8=1`、已有 torch 环境的 PyYAML 通过;基础 Python 缺少 PyYAML,未安装依赖。 +- 全量 `hooks/smoke-test` 在 Windows 的无解释器夹具因 bash 共享库加载失败,未运行到提示段落;Windows 生命周期 smoke 在 complete 查找测试根目录时报 no active task。用主分支原始 Windows smoke 和相同类型的项目内夹具重跑,出现相同错误,故不能归因本次改动。两次失败均未证明全量 CI 通过;夹具已清理。 +- 实际产品 hook 被真实宿主加载、七阶段行为及产物仍需验证;此前针对用户提示附加候选文字的对照不能冒充产品 hook 验证。 +- 真实宿主加载尝试:在任务目录内建立独立 Git 仓库和本地市场,复制待测插件。CLI 能发现 `taskflow@taskflow-eval-local`,但临时 enabled 参数启动 Codex 后,该插件未出现在已安装列表,事件流没有待测 hook 调用证据;规格场景未见规格技能调用。此次不能作为产品 hook 成效验证。未通过写用户配置强行安装;测试夹具已清理。报告 usage input 158832(cached 126464)、output 1684。 + +- 七阶段静态核对(仅说明指引存在,不证明被模型执行):定义阶段列出需求澄清、发散及缺陷调查;研究阶段列出检索与证据评估;设计阶段列出架构与接口;规划阶段列出拆解和依赖;实现阶段列出增量及代码规范;验证阶段列出测试与审查;完成阶段列出文档与决策记录。目录中分别可见 `idea-refine`、`spec-driven-development`、`planning-and-task-breakdown`、`incremental-implementation`、`test-driven-development`、`code-review-and-quality`、`documentation-and-adrs` 等候选,是否适用取决于具体任务。 +- `capability-gate` 的阶段提示覆盖 PRD、Spec、Plan;`task declared` / `unaided` 接受 PRD、Spec、Plan、Test。研究、实现和归档虽然在技能表中有引导,但不是这些命令的独立阶段;这不是单凭覆盖差异就应增加标记的证据。任务后续须检查各阶段实际行为,尤其 Spec 遗漏与头脑风暴触发边界。 +- 每轮提示覆盖差异:`hooks/prompt-reminder` 的 `planning` 分支提示考虑能力;`in_progress`/`checking` 的输出包含当前任务、可选强化资料、外部检索和变更分类,但没有对应的能力选择提示。技能总规则仍要求每一阶段实质工作前检查能力;两者说明提示时机不一致,不能单凭静态代码认定这造成了某次遗漏。研究、实现、验证与归档的真实调用和产物仍待验证。 +- 已读取调试和规划技能。规划技能默认要求 `tasks/plan.md` 与 `tasks/todo.md`;TaskFlow 将现有任务目录的 `plan.md` 和 `TaskFlowDocs/todo.md` 定为唯一事实源。因此采用规划技能的拆解方法、将内容写回 TaskFlow 文件,不额外创建第二套计划。该整合方式是依据两份指令作出的处理,尚未通过真实宿主端到端验证。 +- `hooks/task approve` 源码明确说只验证 Plan Review 字段是否有答案,不能判断答案质量;真实缺陷调查和计划质量不能等同于字段齐全。 +- 真实模型测试原先遭自动审批拒绝;用户随后同意向 Codex 模型服务发送测试提示、TaskFlow 规则和测试读取的仓库内容。 +- 首次启动显示 provider=custom,立即中断;测试提示可能已发送,提供方的实际地址未知,未确认模型读取仓库内容。 +- 显式使用 provider=openai 的只读试验中,模型实际读取调试与规划技能;提示明确要求检查这些技能,因此不能验证 TaskFlow 本身是否促成调用。启动时部分 hook 失败,模型列表刷新超时。 +- 该模型还检索了授权范围之外的本机记忆文件;发现后立即中断,检索结果可能已发送给 OpenAI 模型服务。未进一步重复,真实测试数据边界需要可执行的隔离保障。 +- `python evals/runner.py`:PASS (6 evals);逐读 runner 确认这些是关键字和静态 fixture 检查,不能证明模型行为。 +- 合成真实 hook 事件:无能力记录的 Plan 写入被拒绝;单次 `mcp__unrelated__calendar` 事件后相同写入放行,`released` 记为 `Plan|1|invoke|mcp__unrelated__calendar`。夹具仅在当前 worktree 的 Git 元数据内创建并保留;这不是一次真实模型对照。 进一步在合成 `tool_response.isError=true` 后测试,Spec 写入仍放行;这证明脚本不检查该字段,不证明真实宿主失败事件一定使用此字段。 +- `hooks/capability-evidence` 将 `mcp__*` 均记为调用,`hooks/capability-gate` 按先进先出把记录释放给写入的阶段;代码注释明确承认阶段归属不能从队列还原。由此只能判断事件被记录,不能判断能力相关性或实际结果。 +- 查询了本机 CLI 功能开关:存在 shell_tool、unified_exec 等开关,但尚未证明禁用后能完全阻止通过其他工具读取本机数据;未再次启动模型。 +- WSL Ubuntu 的用户/挂载命名空间可用于隔离 Linux 进程,但现有 pnpm 安装仅发现 `codex-win32-x64`,未发现 Linux 原生运行时;不能把 WSL 中启动 Windows 进程当作受 Linux 文件系统隔离。凭据必须同时与模型可调用工具隔离。 +- OpenAI 的 [Sandbox security](https://developers.openai.com/api/docs/guides/agents-api/environments/security) 说明执行环境中的代码能够读取其可访问的文件和凭据,建议将应用凭据留在环境外;该文描述 Agents API,不能据此认定本机 Codex CLI 的具体配置已经安全。 +- npm 元数据中的匹配 Linux 运行时解压约 459 MB;下载尝试未完成。尚无证据证明安装它即可同时隔离宿主文件及凭据,因此未继续下载或启动模型。 +- 2026-11-12:对本机 `codex sandbox` 使用限制读取的临时权限配置执行无模型探针,命令报 `Restricted read-only access requires the elevated Windows sandbox backend`,未启动探针。该结果只说明当前后端未接受此配置,不证明其他后端已安装或可安全启用;未更改系统配置。 +- 用户于 2026-11-12 明确同意在无法完全隔离时使用本机 Codex 测试,限定模型仅读取测试仓库和必要技能,并监控越界中断;知悉其他本机文件读取结果可能发送给 OpenAI。 +- 使用 `debug prompt-input` 在当前目录检查新会话初始输入:可见项目指令和技能目录;没有发现记忆正文,唯一 memory 提及是通用指令中的例子。这是该调试命令在当前配置下的观察,不保证不同启动参数或宿主一致。`shell_tool` 和 `unified_exec` 当前启用,模型仍可通过工具读取可访问文件;此前试验已实际读取记忆。当前任务文档包含调查结论,也需要从盲测材料中排除。`codex mcp list` 返回没有配置 MCP 服务器,但不能由此推断所有插件或宿主工具均不可用。 +- 普通规格场景:以用户此前的任务版本 Git 回退需求为提示,要求只读调查、输出规格草案,不指定专家技能,不读取现有任务文档、历史或个人文件。主动读取已安装 TaskFlow 技能、调查源码和测试并输出草案;可见调用中未见读取 `spec-driven-development`。草案识别了当前已有实现,但提出持久提交映射等额外需求,需与原授权边界对照,不能直接视为正确需求。此场景针对已实现的功能且只输出草案,不能代替原始任务或验证实际写文件阶段;工具输出有截断,不能断言调用清单完整。模型列表刷新超时但最终答复完成;报告 usage input 221905(cached 167808)、output 3088,不等同费用。 +- 未定方向的头脑风暴场景:要求只读探索长程开发任务交接的方向与取舍,不指定技能。读取仓库中的 TaskFlow 规则及交接相关源码,提出四个方向、适用条件、风险和推荐;可见调用未见读取 `idea-refine`。这说明本次有产出备选方案,不证明已完成充分探索或适用能力引导成功;提示本身要求多个方向、是只读讨论而非真实 TaskFlow 定义阶段,且输出截断,不能作为完整调用审计。需补充已定方向的负对照、真实开发阶段与改进前后比较。报告 usage input 154397(cached 104960)、output 1444,不等同费用。 +- 头脑风暴候选提示对照:同一交接需求,增加按发散构思、选项比较与假设检验检查适用能力、并读取指引的提示,不指定技能名称。模型读取 `idea-refine` 和 `doubt-driven-development`,提出五个方向、适用情况、成本风险及关键假设,建议先做交接演练;基线提出四个方向并建议就绪检查。候选输出更明确地区分了假设与证据,但一次开放式只读对照不能证明长期改进,且两次均未实际执行宿主开发阶段。模型遇到一次 context-mode 大文件读取拦截,随后改用局部搜索并完成;本次事件流输出保留命令与最终回复。报告 usage input 324175(cached 276992)、output 2721。 +- 简单任务负对照:只读核查 README 中指定拼写错误并建议最小修改;模型未发现该错误,报告无需修改,未发散或读取专家技能。该场景是只读且指定错误不存在,说明一次简单核查没有机械触发发散,不代表真实修改阶段的普遍行为。报告 usage input 92071(cached 73472)、output 452,不等同费用。 +- 规格候选提示对照:同样的 Git 版本需求与只读边界,额外要求按规格设计内容检查可用能力并读取适用指引,未指定技能名称。模型识别并读取 `spec-driven-development`,按 TaskFlow Spec 标题输出规格草案;基线轮次可见调用未见该技能。两次草案都提出持久映射及超出原需求的历史保留选择;因此这次提示改变了可见的能力选择与格式,但不能证明范围控制或问题解决质量得到改善,也不能证明因果或跨阶段有效。两轮输出均有截断、没有完整可审计日志;该对照不是完整宿主生命周期。报告 usage input 217016(cached 184448)、output 3497,不等同费用。 +- `debug codex prompt-input` 默认与 `--disable plugin_discovery_prefetch` 的输出都未出现目标技能名称,不能证明该开关既保留技能目录又能阻止刷新。[官方配置参考](https://developers.openai.com/codex/config-reference/) 指出禁用插件不保证市场刷新不会更新文件;尚未验证无项目外写入且保留同等宿主能力的启动方式。后续真实实验不能假定只读模型工具也约束宿主后台行为。 +- 用户更正授权:允许测试期间宿主自动更新插件缓存和临时目录,并要求测试后恢复。本轮前将 marketplace 与 plugin cache 复制到任务目录,逐文件 SHA-256 校验两侧均一致;审查场景完成后比较发现 marketplace 新增单个 staging 目录(20 文件),原文件内容无变化,plugin cache 无变化。已仅删除该新目录;再次核对两棵树的路径清单均与快照一致,随后清除本轮测试备份。此前未建立快照的旧测试无法还原到其测试前状态。 +- 验证与审查阶段真实只读场景:要求审查 Git 回退点检查是否漏掉未提交变更,未指定专家技能。精简事件流保留本轮所有命令和最终结论,未见模型读取代码审查技能;模型静态提出子模块 ignore 配置及传入子目录作为根目录可能绕过检查两项候选,均未复现,不能当作已确认缺陷。模型有源码依据和复现建议,说明未读取专家技能并不自动代表审查无效;需独立复验结果,再与候选引导比较。报告 usage input 277171(cached 236416)、output 1834。模型列表刷新超时,最终 turn 完成后 MCP 退出异常,手动结束退出等待。 +- 用任务目录内的真实 Git 临时仓库复验上述审查结果:`.gitmodules` 将子模块 `ignore` 设为 `all` 且子模块文件已修改时,手工在夹具的 `.git` 写入与 HEAD 一致的测试基线后,`version-baseline check` 返回 0,而 `git status --ignore-submodules=none` 显示 ` M module`;将仓库子目录传为 root 时脚本也直接返回 0。初次用 Windows 系统 `bash` 因 WSL 权限失败,改用 Git Bash;在此沙箱中 init 因 Git 返回的 Windows Git 路径被 Bash 当成相对路径而失败,因此手工建立夹具基线,只验证 check 而非完整生命周期。子目录是否为受支持 root 仍须对照接口契约;子模块问题及完整入口需另行处理,不将其计入本任务修复完成。 +- 审查阶段候选提示对照:复用相同审查任务,加上按工作内容检查可用审查能力、适用时先读取指引的提示(未指定名称)。模型读取 `code-review-and-quality`,最终仍报告与基线相同的子目录和子模块两个候选。基线和候选各一次,能观察能力选择不同,不足以证明提示改善发现质量;调用日志过滤掉源码输出,只保留命令和最终结论。报告 usage input 243237(cached 197504)、output 1897。 +- 回退点候选缺陷独立登记为 `TF-20261112-f593c5`。Git Bash 在默认沙箱内解析工作区路径两次报权限错误;获得执行权限后,`hooks/task intake` 成功,仅登记待办,尚未实现修复或验证完整生命周期。 +- 本轮测试前逐文件 SHA-256 校验市场和插件缓存快照一致。测试后市场 `taskflow` 副本新增 8 文件、缺失 3 文件、16 文件内容改变;插件缓存 `openai-curated-remote/visualize` 缺失 49 文件。用户明确要求保留官方渠道更新、删除本次自行创建的内容;TaskFlow 市场更新保留,visualize 的删除来源不明,未覆盖。市场 staging 目录为空,项目内本轮测试快照已删除。 + +- 2026-11-13:Codex 0.167.0 的 App Server 报告已安装 TaskFlow 的 SessionStart 和 UserPromptSubmit 均失败(code 1)。PowerShell 原样执行配置中的带引号路径和参数时报语法错误,修复为经 `cmd.exe /d /c call` 启动。新增 Windows 配置入口回归;七个命令在带空格路径下经 PowerShell 与 cmd 均返回成功。临时安装待测插件并单独信任提醒 hook 后,真实 App Server 报告该插件 SessionStart、UserPromptSubmit 完成并注入合成任务状态;模型复述任务 ID 和 in_progress。该次只验证提示送达,不证明七阶段能力选择或产物质量。终端输出中中文显示异常,尚未区分测试管道显示编码与模型实际收到的文本,待字节级复验。完整 Windows smoke 在 `complete` 步骤报 no active task;此前原样主分支已复现。测试配置已按哈希恢复,临时插件缓存已移除。日志模块本轮未实施:宿主事件已识别失败来源,若后续确需日志,用户要求不阻塞并脱敏代码、个人信息与密钥。 + +- 2026-11-13:再次临时安装并单独信任待测插件的 UserPromptSubmit,准备复测规格、构思和审查。规格场景进程收到开发请求后,一条命令触发路径范围监控并被终止;监控器没有保存触发命令或原因,故无法判断是启动器路径误报还是实际访问越界,也无法证明越界读取未发生。该运行不作为通过证据。原配置按哈希恢复,测试插件缓存删除;后续试验须先改善监控审计,只保存允许范围与原因、不记录敏感内容。 + +- 2026-11-13:用户允许继续本机受监督试验。修正监控器对双反斜杠转义及技能目录的误判;它只按工具启动事件检查路径,非隔离,无法证明进程在中断前没有越界读取。真实 Codex 0.167.2、临时安装并单独信任候选插件:规格案例发起包含 `spec-driven-development` 的读取命令(未记录退出状态),草案覆盖全仓库、版本边界、纯任务文档例外、后续脏变更与失败场景;该仓库仅为合成夹具,草案未验证产品接入。头脑风暴发起包含 `idea-refine` 的读取命令(未记录退出状态),比较四种方向、代价和失败假设,提出接手人试验。审查发起包含 `code-review-and-quality` 的读取命令(未记录退出状态),识别此前独立复现的子模块忽略风险及尚需契约核实的子目录风险,模型本轮未运行复现。 +- 本地合成研究正确指出 A/B 测量条件不一致且 C 无分母;未测试外部检索。决策记录发起包含 `documentation-and-adrs` 的读取命令(未记录退出状态),区分 README 事实和未验证部署。实现样本生成函数与四项边界测试,独立复跑通过,但未观察到明确的 Python 或 TDD 专家技能调用。以上均为单次或少量样本,研究与归档为只读模拟,不能代表完整生命周期。 +- 规划基线两次读取 TaskFlow 并形成可执行计划,均未观察到任务拆解技能;因此将共享提醒补充为考虑生命周期之外、与当前工作匹配的研究、规格、任务拆解、实现、测试、审查及决策记录能力。更新临时插件后,Codex 因内容变化要求重新信任;只信任测试 UserPromptSubmit,App Server 确认新提示送达。一次规划复测发起包含 `planning-and-task-breakdown` 的读取命令(未记录退出状态) 并给出计划,但夹具比基线多了先前生成的函数,不能作严格对照。实现复测的四项测试独立通过,仍未观察到 Python/TDD 专家技能读取。新提示下简单拼写、计算和状态查询三项反例均直接回答,没有工具调用。不得将一次能力调用视为因果或长期有效性证据。 +- 本轮 `python evals/runner.py` 为 PASS (6),Bash 语法和 `git diff --check` 通过;临时配置差异仅为测试插件与测试仓库信任记录,已按原配置哈希恢复并删除测试插件,官方插件更新保留。真实外部证据检索、完整归档操作、其余阶段系统性正反例及跨平台宿主仍未验证,Step 4 不得标记完成。 + +- 2026-11-13:定位先前 Windows smoke 的归档失败:测试夹具位于现有 Git 工作树内且自身不是仓库,归档通过 `git rev-parse` 向上发现外层根目录。测试进程设置 `GIT_CEILING_DIRECTORIES` 后生命周期通过,并暴露旧 Windows 提示断言未随本任务修改;断言已更新。开放 stdin 自检的旧实现默认在系统临时目录创建子夹具,曾在项目外误建一次;已停止测试进程,通过创建时间和 smoke 任务 ID 唯一确认并删除该夹具。调整自检把子夹具放在项目内,并避免在子进程重复执行无关的 hook 命令检查。完整 Windows smoke 此后通过:双 shell 配置、launcher、SessionStart、lifecycle、pre-write gate、base guard、状态提醒、host parity、开放 stdin(71 秒)。`GIT_CEILING_DIRECTORIES` 仅用于测试进程,不改变用户 Git 配置。 + +- 2026-11-13:补充监控命令完成事件后,在 Codex 0.167.2 的三个独立只读样本中,包含 `planning-and-task-breakdown`、`spec-driven-development`、`idea-refine` 的命令均显示 completed、退出码 0 且有输出;命令可能包含多项操作,记录不含原始输出,仍不等于对技能产出贡献的证明。规划和构思结果分别提供可实施步骤以及方案取舍;规格样本增加忽略文件及修改后恢复仍强制提交等未确认假设,不能作为合格需求直接采纳。固定方向反例没有展开其他方向;简单规格修字和字符串长度直接回答。固定方向案例有一条 TaskFlow 命令退出 1,不能声称该命令成功。规划测试中 Git 尝试读取全局忽略配置并遭系统拒绝,说明命令级监控无法覆盖子进程间接读取;后续反例通过测试进程环境将 Git 全局和 XDG 配置指向测试仓库,未修改用户配置。 +- 自动审批拒绝将当前 Codex 配置再次复制到测试目录,理由是可能包含认证和个人配置;采用只记录哈希的替代方式。结束时确认当前配置相对已有测试前备份仅有测试插件及测试仓库信任项的差异,检查无并发变化后恢复原配置并移除临时插件。测试前已获授权创建的备份随夹具删除。此处记录不足以证明所有间接读取都被阻止。 + +- 2026-11-13:构建独立合成 Git 仓库和任务工作树,使用真实插件提示测试完成归档。模型读取 TaskFlow 并检查批准、验收与脚本;首次因夹具验收字段缺失和关联 Git 元数据范围不明而拒绝归档,补齐合成事实及说明授权后重试,路径监控先后误拦 Git Bash 和另一个程序路径;另有一次包含归档路径的命令退出 1,未保存原始错误,模型未完成事务。随后在同一夹具提交由测试生成的仓库索引,直接执行 `hooks/task complete ... --user-accepted` 成功,独立回读确认活动目录不存在、归档目录存在、PRD/Plan 均 completed、Todo done。此项证明脚本事务,不证明模型端到端归档通过。 +- 本轮自动审批拒绝在项目复制用户 Codex 配置,改为不创建配置副本:通过官方命令移除测试插件与测试市场,再仅移除预检确认原本不存在的 7 条测试 hook 信任项和 1 条测试仓库信任项;以 TOML 结构比较确认其余配置字段不变。自动审批还拒绝在未显示完整 hook 列表时一次性导航并确认;逐项展示并核对来源为测试插件的 UserPromptSubmit 后单独信任。 + +### 七阶段证据矩阵(未完成) + +| 阶段 | 入口与可用能力 | 已观察到的行为与产物 | 反例与剩余缺口 | +| --- | --- | --- | --- | +| 需求定义/头脑风暴 | 阶段表的 divergent exploration;idea-refine | 真实模型调用含技能的命令退出 0;构思比较四个方向及代价和验证假设 | 方向已定的简单样本未发散;真实团队样本未验证 | +| 研究 | 阶段表的 literature and evidence review | 真实模型读取 openai-docs 的命令退出 0,调用网络检索并引用官方文档;核心结论已独立核对 | 简单计算直接回答;测试记录只保留检索事件及最终引用,未逐页审计全部搜索结果 | +| 设计/Spec | 阶段表的 technical specifications;spec-driven-development | 含技能的命令退出 0;草案覆盖全仓库和版本边界,但另一稿加入未确认假设 | 简单改字直接回答;必须审查并剔除越界假设,未证明技能输出直接带来质量改善 | +| 规划 | 阶段表的 work breakdown;planning-and-task-breakdown | 新提示下含技能的命令退出 0,形成步骤、测试和回退;旧提示两轮未观察到该技能 | 简单改字直接回答;复测夹具不同且样本少,不构成严格因果对照 | +| 实现 | 阶段表的 incremental implementation;Python/测试能力可用 | 两个合成模块样本的边界测试均经独立复跑通过;未观察到明确专家技能读取 | 简单单字符修复未观察到额外专家技能,实际提交并独立验证;更复杂任务的专家能力收益仍不确定 | +| 验证审查 | 阶段表的 testing strategy and code review;code-review-and-quality | 新提示下包含审查技能的命令完成、退出 0 且有输出;静态指出已独立复现的子模块风险 | 字符计数直接回答;子模块风险此前独立复现,本轮模型未动态复现 | +| 完成归档 | 阶段表的 documentation and decision;documentation-and-adrs | 决策记录草稿区分事实和验证缺口;真实模型执行合成归档命令成功,独立回读通过 | 简单状态请求直接回答;真实归档为单次合成样本,不代表其他宿主已验证 | + +候选提示在规划样本中产生了可观察的技能命令,但各阶段样本量有限;在用户追加允许公开官方文档后,真实外部检索和模型驱动的合成归档均获得样本;仅一次、部分阶段仍是只读模拟,不能据此推断其他宿主或长期稳定性。当前任务保持 in_progress,待最终审查和用户验收。 + +- 2026-11-13:在新提示下补验审查阶段,`code-review-and-quality` 相关命令完成、退出码 0 且有输出;模型以源码为依据再次指出子模块忽略和子目录 root 候选,明确本轮只读未执行复现。子模块候选此前已独立复现,子目录是否受支持仍需核实。尽管测试进程设置 Git 全局/XDG 配置到夹具,模型报告 Git 曾尝试用户级 ignore 文件且被系统拒绝;该隔离策略未完全控制 Git 的间接读取,不能声称完全隔离。测试插件和测试市场通过 Codex 命令移除,只删除预检不存在的测试信任项并核对其余配置结构不变。 + +- 2026-11-13:用 WSL Ubuntu 在项目内、基于已提交版本 `fceeef5` 的独立 Git 副本运行 Linux Bash smoke,临时目录均放在该副本内。原样运行通过版本回退点、生命周期、无解释器等检查后,在归档不可写目录测试失败;在同一挂载点实测 `chmod a-w` 后仍可创建文件,表明 Windows 磁盘的 WSL 挂载无法构造该测试前提。仅在一次性测试副本中将该条断言明确标记 SKIP 后续跑,全部后续检查到达 `ALL SMOKE PASSED`,包括本次 prompt-reminder 的活动任务、无任务入口、顺序、只读和五宿主配置接线。由于有一项跳过,这不是完整无跳过通过;产品仓库测试脚本未删除或放宽该断言。Linux 测试副本已删除。 + +- 2026-11-13:为补验 WSL Windows 挂载不执行 chmod 的断言,在项目内临时目录建立仅该次进程可见的用户、挂载及网络命名空间,在其中挂载临时 Linux 文件系统;以去除 DAC 绕过能力的进程实测去写权限后写入被拒绝。将当前提交代码归档到该临时挂载的独立 Git 夹具,未修改 smoke 脚本,完整运行 `hooks/smoke-test`,包含不可写目录断言、五宿主接线和提醒回归,最终 `ALL SMOKE PASSED`。进程退出后确认私有挂载消失并清理项目内测试目录。此结果补足上一轮 Windows 挂载跳过项;真实其他宿主的行为验收仍不由此推断。 + +- 2026-11-13:用户明确允许测试模型访问公开官方文档,继续禁止读取其他本机文件。真实研究场景中 `openai-docs` 命令 completed、退出 0 且有输出,网络检索有启动与完成事件;模型引用官方文档判断插件安装不等于 hook 信任,已由本任务独立核对官方文档。日志仅保留检索事件类型及最终引用,未逐页记录或审计所有搜索结果,故不能证明所有搜索中间结果均来自官方站点。 +- 真实归档场景使用合成 Git 工作树和已批准的模拟任务;首次模型正确因未提交的测试索引阻止归档。该索引在合成仓库单独提交后,模型执行 `task complete` 的命令 completed、退出 0;独立回读确认活动目录不存在、归档目录存在、Todo done 且指向归档、PRD 和 Plan completed。任务归档文档留在合成工作树未提交;本项仅是一次可控样本。 +- 简单实现反例在合成任务工作树将减一修正为加一,没有观察到额外的 Python/TDD 专家技能命令;模型报告并实际创建代码提交 `c83821b`,独立检查提交差异及 -1/0/1 三个输入通过。模型一次报告 Git 元数据沙箱写入失败后重新尝试成功,不能推断所有权限环境一致。 +- 规格草案曾将未确认的边界写成要求;将能力提示补充为核对已确认范围并标明未确认假设。重新安装测试插件并单项信任后,App Server 观察到包含新提示的 UserPromptSubmit 成功;模型的规格技能相关命令退出 0,一份完整样本将任务文档范围、撤销修改和回退点含义列为待确认,并保留对忽略文件的默认假设,不能声称范围风险完全消失。简单改字反例直接完成,已定方向反例没有发散;其一条 TaskFlow 命令退出 1,不能作为成功调用。`python evals/runner.py` PASS (6),直接 hook 输出和 Bash 语法检查通过。 + +- 2026-11-13:最终提示 `34dfc7a` 的真实宿主回归:规划、构思、审查、决策记录及官方文档研究分别发起包含适用技能的命令,均记录 completed、退出 0、有输出;模型分别给出步骤与边界、多个方向及验证、子模块风险、区分事实和缺口的决策草稿、带官方链接的研究结论。规格样本也读取相关技能,将三项口径列为待确认,但仍提出忽略文件默认值,不能断言所有假设均被识别。真实实现样本生成函数及四项测试,独立复跑通过;未观察到 Python/TDD 专家技能读取。简单单字符修复创建测试提交 `7b23d45`,独立核对差异及边界通过。已定方向、改字、状态、计算及字符计数等反例未出现强迫发散;这些都是有限样本,不构成成功率或跨宿主保证。 +- 当前机器命令发现 Claude Code 2.1.311 和 Codex 可用,CodeBuddy、dsh、Trae 命令未发现。用户对真实模型测试的授权指向 OpenAI,未向 Claude Code 发送测试材料;五宿主接线与桥接由自动测试验证,除 Codex 外不声称真实宿主行为通过。 +- `34dfc7a` 未修改脚本的 Linux 全量 smoke 在项目内私有临时挂载中通过,无跳过:包括不可写目录、能力提示和 host parity;Windows 全量 smoke 在最终提示版本通过(退出 0),包括七个 Codex hook 的双 shell 启动、生命周期、宿主接线及开放 stdin;测试进程设置 `GIT_CEILING_DIRECTORIES` 隔离外层仓库。`git diff --check` 通过。 + +- 最终验收复核:规格样本的技能命令含多项操作且未保留可审计的技能输出,无法证明方法对规格的具体贡献;实现样本未观察到适用专家技能读取;受控对照未完成固定条件及盲评。当前不能将 Step 4 或任务标为通过,也不能用已有提示断言代替上述证据。 + +## Change Log + +- 2026-11-12:应用户要求将工作树复制到项目 `.worktrees/capability-outcomes`,逐文件校验后修复 Git 登记。Codex 应用拒绝附加非托管工作树;旧目录保留,后续命令须显式使用项目内路径。 + +- 2026-11-12:同步已合并的 `main`;在任何产品代码修改前记录 v1 Git 基线 `d0b5ebc748703acd19f275f3d423959b0557a9fb`。真实 hook 夹具复现无关 MCP 事件可释放 Plan。 + +- 2026-11-12:用户确认分成两个关联任务,允许必要真实模型验证,先实测再决定机制;明确允许上述仓库数据发送,试验发生范围外读取并已中断。 + +## Follow-ups + +真实宿主验证与既有 TF-20261110-0c7346 的边界待后续确认。 + +## Version History + +- v1 — planning;按用户批准的数据边界运行行为对照,再选择覆盖七阶段缺口的方案。 diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/prd.md b/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/prd.md new file mode 100644 index 0000000..8b4c3cb --- /dev/null +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/prd.md @@ -0,0 +1,64 @@ +# 改善 TaskFlow 能力选择与问题解决效果 +> Task version: v1 +> Status: in_progress + +## Goal + +调查并改善 TaskFlow 在开发任务中选择适用能力、调查真实问题和审查计划的效果,避免把流程标记当成问题已解决。 + +## Task Kind + +- Kind: defect + +## Background / Confirmed Facts + +- 用户要求同时推进仓库版本提交与本任务,两个任务分别验收。 +- 当前会话中,promote 已提醒考虑能力,但 Agent 直接声明 unaided、用 Python 写文档,且计划审查结论未经充分复核。 +- 历史 digdig 会话有类似批量写文档后被用户指出缺少调查和计划审查的记录;同一会话也有后来读取规划技能的记录。 +- 2026-11-07 repro-requirement 的验证主要检查种类、词汇与审批记录,不证明模型找到了真实根因。 +- Codex 配置的写前能力门只匹配 apply_patch;离线 evals 不调用模型。机械测试不等于真实模型行为验证。 +- 使用真实 hook 和隔离 Git worktree 合成宿主事件:未调用能力时 Plan 写入被拒绝;注入与规划无关的 `mcp__unrelated__calendar` 后,同一 Plan 写入放行,`released` 将它记为 Plan 的调用。该复现证明门禁未核验阶段相关性,不证明用户会话一定发生了该事件错配。 +- 在本次用户请求中,promote 的提示实际输出,但 Agent 随后仍直接声明 unaided 并写出不充分审查的 Plan;这是一个真实失败样本,不能推断失败频率或独立归因。 +- 本任务撰写 Spec 时,Agent 未发现并评估技能目录中明确适用的 `agent-skills:spec-driven-development`,而在首稿后声明 unaided。用户指出后才读取该技能;这是另一项真实失败,无法仅凭声明推断已充分检查可用能力。 +- 2026-11-12 启动只读 Codex 模型基线被自动审批拒绝:可能把仓库内容发送到模型服务,未明确输入范围及目的地。未通过其他方式绕过。 + +## Requirements + +- 从历史失败案例和现行实现重建复现条件,区分模型行为、提醒送达、宿主覆盖、记录校验与真实结果。 +- 比较现有机制与候选方案,先实测再选择是否需要阻断;不把增添字段、标记或通过字符串测试当作最终效果。 +- 衡量真实能力选择、实际调查、计划与原始问题的对应、最终产物;把工具调用与实际贡献分开。 +- 覆盖 Spec 阶段:对照可发现的适用技能、是否主动评估并读取、是否将有用方法融入 TaskFlow 指定格式以及规格是否满足实际验收;不要求无条件调用指定名称的技能。 +- 检查全部阶段的能力引导:需求定义(含问题调查、需求澄清和头脑风暴)、研究、设计、规划、实现、验证审查、完成归档;区分不适用、适合自行完成与确需引导的情况。 +- 对七阶段逐一分析并修复证实影响正常选择或使用适合能力的缺口;可以采用跨阶段的共同修复,但每个受影响阶段须有对应验证,不以新增记录替代实际效果。 +- 尊重用户授权:必要时可运行真实模型验证,具体发送内容与目标受自动审批约束;不外传私人数据或整个仓库。 +- 保留 TaskFlow 固定标题及用户可用其他能力的自由,不强制凭名称调用无关能力。 + +## Acceptance Criteria + +- 给出可复查的失败案例和根因或明确区分未证实假设,不把提示送达当采纳。 +- 已确认的机制变更覆盖实际行为;提供真实案例或经允许的真实宿主对照,若不可运行不得声称效果已验证。 +- 机械测试覆盖修改契约、异常和宿主边界,但不能替代模型和产物检查。 +- 真实场景或受控对照包含规格编写时遗漏适用技能的案例及不需要该技能的简单反例;记录可用技能、选择与理由、实际读取及对规格的贡献,并检查规格内容,不能仅凭调用或 unaided 标记判定通过。 +- 对七个阶段分别给出引导入口、可用能力匹配、实际覆盖和证据边界;对头脑风暴验证未定方向时的备选与取舍,以及方向已明确时避免重复发散。行为结论须基于相应真实案例或对照,不能把静态覆盖写成效果已验证。 +- 对既有归档成果和真实宿主验证待办说明关系;不擅自关闭或改写其他任务。 + +## External Facts + +- Depends on external facts: no +- Why not: 现有提示和事件行为以 `hooks/prompt-reminder`、`hooks/capability-evidence` 及用户授权的历史会话为依据;若方案依赖宿主外部契约再重新评估。 + +## In Scope + +能力选择、模型实际调查与审查、提示和验证方式;历史标记式修复的有效性复核。 + +## Out of Scope + +代替用户实现其他任务的功能、未经验证强制增加标记、泄露仓库或私人上下文。 + +## Risks / Deferred Items + +模型表现非确定性;单次测试不能证明因果或普遍有效。用户已允许在无法完全隔离时按指定范围使用本机 Codex 测试,仍须监控并在发现越界时中断。 + +## Open Questions + +待完成普通开发场景及规格编写场景的行为对照;方案待实证后选择。 diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/spec.md b/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/spec.md new file mode 100644 index 0000000..8e44266 --- /dev/null +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/spec.md @@ -0,0 +1,63 @@ +# Spec — 能力选择与真实问题解决调查 +> Task version: v1 + +## Objective and Success Criteria + +让 TaskFlow 各阶段在适用能力可用时更可靠地发现、评估并使用它,改善实际产物;不能用填写字段、调用无关工具或测试字符串替代行为验证。 + +- 开始实质工作时,引导模型将当前工作与宿主可用能力的描述匹配;有合适能力时按宿主方式读取或调用,审查结果后再吸收;没有合适能力时允许自行完成。 +- 七阶段均须有可验证的引导入口和正反场景;其中头脑风暴只在目标或方向未定时展开,需求已明确的简单任务不应被迫发散。 +- 对照须分别评价能力选择与产物:正确调用本身不等于调查、设计、实现或审查正确。真实场景若未达标,须继续修订,不得因静态测试通过而声称完成。 + +## Architecture Boundaries and Responsibilities + +- 宿主事件只能证明事件到达及记录,不能单独证明能力相关、被采纳或修复成功。 +- TaskFlow 负责阶段路由与有界提示;专家能力负责具体调查和规划;评估由独立的真实案例和产物检查完成。 +- Codex `apply_patch` 与通过 shell / Python 写文件走不同事件路径;不得把某一工具上的门禁宣称成所有写入的强制保证。 + +## Project Structure / Affected Files + +拟修改 `hooks/prompt-reminder` 的既有提示、`skills/taskflow/SKILL.md` 的阶段概念和能力选择说明,以及 `hooks/smoke-test` 中相关行为断言;必要时同步已声明宿主的配置与 `skills/taskflow/references/runtime.md`。复用现有 hook,不新增依赖或任务记录字段。 + +## Interfaces, Data Flow, and Contracts + +当前机制观察:`capability-evidence` 接受 `mcp__*` 事件;`capability-gate` 按队列先后匹配阶段。事件与阶段意图及产物贡献没有一一对应,允许 unaided,审批检查审查字段完整性而非结论正确性。不能将这些机制视为真实能力选择或问题修复的证明。 + +候选实现契约:继续使用现有 `UserPromptSubmit` 提醒,在 planning 和执行/检查时要求模型结合当前工作内容检查宿主实际能力描述,评估是否适用;选择使用时先按宿主方式读取或调用,再将经过审查的有用结果融入当前任务。提示应允许无适合能力时自行完成,不指定供应商、技能名称、调用数量或额外审批字段。规划状态不得假定当前一定是 Spec;执行/检查状态不得假定每一轮都进入新阶段。选定能力或调用记录不代表结果可靠。 + +技能阶段表补充足以匹配规格编写、方案探索、实现、测试/审查和归档文档等实际概念的描述,同时保留 TaskFlow 的七阶段与固定文档结构。不得让规划能力的默认文件位置覆盖 TaskFlow 事实源。 + +规划技能默认输出 `tasks/plan.md`;TaskFlow 把任务目录的 `plan.md` 作为事实源。采用技能的方法时将有效内容纳入 TaskFlow 的指定文档,保留被 hooks 匹配的标题和字段,不另造竞争文档。 + +## Invariants and Compatibility + +不从任意事件推断模型内部动机;不声称所有宿主事件行为相同;不改变仓库外的个人配置。未获真实效果证据之前,不把提示或强制字段作为最终修复。 + +## Validation and Error Semantics + +基线包括本次遗漏能力的真实会话与 digdig 原始案例。后续受控实验要固定任务、模型、工具可用性、提示和宿主,比较具体任务的能力选择、根因证据、计划可执行性与产物;必须记录实际调用、提示到达、错误、结果和盲评口径。至少包含无需外部能力的简单对照,不能强迫所有任务调用技能。一次提示主动要求读技能的运行不构成引导效果验证。 + +本任务自身的 Spec 首稿遗漏了可用的 `agent-skills:spec-driven-development`:在用户指出后才读取。行为评估须覆盖复杂规格任务中对适用技能的发现、评估、读取及方法在 TaskFlow 标题下的实际运用,同时检查规格的成功标准、边界与验证方法;安排无需此技能的简单反例。技能调用和 unaided 声明本身均不足以证明结果。 + +逐阶段检查需求定义、研究、设计、规划、实现、验证审查和完成归档的现有引导及能力匹配。头脑风暴归属需求定义:目标或方案未定时比较可行方向与取舍;用户已确定方向时不重复发散。已读取的 `idea-refine` 适用于模糊想法和方案压力测试,不适用于方向已确定只需写规格的情况;其默认独立输出位置与 TaskFlow 事实源应分别处理。现有 smoke test 仅验证 `divergent exploration` 的声明/对账,尚无证据表明它验证实际发散质量或真实能力选择。 + +用户于 2026-11-12 知悉无法完全隔离后的风险,允许使用本机 Codex 真实测试:指示模型仅读取测试仓库及必要技能,监控工具调用,发现越界时中断;读取结果可能发送给 OpenAI。普通 read-only 沙箱仍允许读取本机记忆,不能作为隔离证明;不得将测试描述为完全隔离。不得主动读取或输出凭据。 + +## Code and Test Constraints + +定向测试事件形状与脚本入口,真实行为测试必须独立于标记字段;所有夹具保留或按用户许可清理。 + +沿用仓库 Bash 和现有测试,不新增依赖;实施后运行 `bash hooks/smoke-test <项目内测试夹具目录>`、`python evals/runner.py`、`git diff --check`,以及仓库要求的 TaskFlow skill 校验。全量跨平台检查以 PR CI 为准。测试产生的文件按用户授权清理,不删除其他文件。若某项受环境限制不能运行,须记录原因,不能写成通过。 + +真实行为对照矩阵:需求定义的模糊想法与已选方向、研究中确需外部证据与不需要外部检索、复杂 Spec 与简单改字、跨文件 Plan 与简单任务、实现中有适用技术能力与无适用能力、需要审查/测试与无需额外审查、需要持久决策记录与普通归档。每项至少记录任务与能力目录、提示是否实际到达、调用顺序与结果、产物及可证伪的质量标准;正例须能检出适用能力被遗漏或调用无贡献,负例须能检出多余发散或被迫调用。优先复用历史失败样本与已获得用户同意的真实宿主测试;记录运行失败和样本限制。不能只比较调用次数或自行填写的标记。 + +## Design Decisions and Alternatives + +- 推荐候选 A:在现有提示中增加基于当前工作内容匹配实际能力描述的明确动作,并完善阶段概念。规格、审查和头脑风暴各一次对照均观察到读取适用技能,但其中两组未证明产物质量改善;因此这只是有初步证据的设计,必须通过上述真实行为和产物验收。 +- 候选 B:提高调用和阶段的对应准确性。合成事件已证明现有记录存在错配;但单独加强记录不能证明调用有用,不作为本次主要修复。若实施发现它影响可见事实的正确性,须单独设计能由宿主事件支持的最小修正,不伪称阶段或成功状态。 +- 候选 C:改变模型与流程交互,把确定性操作交给程序。现有证据不足以确定更大改造的所有权和收益,暂不采用。 +- 不新增硬门禁或强制命名技能;保留合理 unaided 路径。现有门禁的事件误归属与 shell 写入覆盖限制须如实说明,不以提示修订宣称它们已经解决。 + +## Open Questions + +本机真实测试未完全隔离,已取得用户在知悉风险后的明确授权。完整七阶段真实宿主对照、跨平台提示到达及最终产物效果仍待验证;若无法验证,须如实报告并保留未完成状态。 diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/version.md b/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/version.md new file mode 100644 index 0000000..5525483 --- /dev/null +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/version.md @@ -0,0 +1,18 @@ +# Archived Version v1 — Plan — 改善 TaskFlow 能力选择与问题解决效果 +> Task: 2026-11-12-capability-outcomes +> Version: v1 +> Status: superseded +> Archived: 2026-11-13 14:39 +0800 +> Superseded by: v2 +> Archive mode: file + +## Change Summary +用户决定自动化测试通过后先提交 PR,未完成的真实行为和产物效果通过正式使用中的脱敏日志及产物复核继续迭代;保留 v1 证据与限制。 + +## Archived Materials +- prd.md +- spec.md +- plan.md + +## Restore +Read the archived v1 core docs from a new temporary restore root. Do not overwrite the current task root. diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md index 9e77074..0aef543 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md @@ -1,5 +1,5 @@ # Plan — 改善 TaskFlow 能力选择与问题解决效果 -> Task version: v1 +> Task version: v2 > Status: in_progress ## Spec Pointers @@ -22,12 +22,11 @@ ## Skills / Tools Used -- [PRD] Declared `agent-skills:debugging-and-error-recovery` — purpose: 重建真实失败、定位所属层;outcome: 区分记录、提示和模型行为;incorporated: 背景与验收。声明不表示宿主自动观测。 -- [Plan] Declared `agent-skills:planning-and-task-breakdown` — purpose: 按依赖拆分调查、验证和改进;outcome: 区分可观测机制与行为验证;incorporated: 调查步骤。声明不表示宿主自动观测。 -- [Spec] Unaided — 根据已读取源码和已调用技能的调查结果整理候选和边界;considered: architecture and design。阶段记录在首稿之后补录,不能声称写作前已通过门禁。 -- [Test] Unaided — 制定真实行为与隔离验证口径;considered: testing strategy。 -- 后续调查读取 `agent-skills:idea-refine`,比较实际能力选择、机制真实性和结果验证;与任务事实的决策均写入现有任务文件。 -- 后续读取 `agent-skills:spec-driven-development` 重审规格:保留 TaskFlow 的 Spec 位置与标题,检查目标、命令、项目结构、代码约束、测试策略和边界;现稿仍缺选定的实施契约、各阶段可执行验收和完整测试命令,暂不视为可审批规格。该技能是在首稿后才读取,不能追称参与首稿。 +- [PRD] Declared `agent-skills:spec-driven-development` — purpose: 复核已有 root cause investigation 证据并将用户新决定转成可核对需求;outcome: 保留已发现的根因与未验证假设,区分测试交付和行为证据;incorporated: PRD。 +- [Spec] Declared `agent-skills:spec-driven-development` — purpose: 维持已有架构和证据边界;outcome: 区分静态测试与后续真实观察;incorporated: Spec。 +- [Plan] Declared `agent-skills:planning-and-task-breakdown` — purpose: 拆解回归、风险说明与 PR;outcome: 可验证步骤及依赖;incorporated: 本计划。 +- [Test] Declared `agent-skills:test-driven-development` — purpose: 审查应运行的现有测试与回归;outcome: 全量 smoke、离线评估和宿主接线检查;incorporated: 验证步骤。 +- v1 已有技能调用及限制保留在 `old/v1/plan.md`。 ## Preconditions @@ -37,93 +36,72 @@ ## Plan Review - Verdict: sound -- Coverage: Step 1 对应失败重建,Step 2 对应七阶段提示及兼容,Step 3 对应静态检查,Step 4 对应真实行为与产物验收,Step 5 对应交付和残留风险。七阶段中未达标的场景必须在 Step 4 保持未完成并回到 Step 2,不能以文字断言替代。 -- Verifiability: 可运行现有脚本与有监督的真实宿主对照;规格、审查、构思各有一次候选提示对照,但其提示来自测试用户而非真实 hook,尚不证明新 hook 有效。对照须同时检查提示到达、能力选择与产物;不可运行或出现越界时记录失败,不能标记验收通过。 -- Layer ownership: 能力发现提示属于 TaskFlow;方法与产物质量属于实际能力及验收。既有事件队列只证明记录,模型语义无法由字段证明;本方案不伪称修复事件错配或覆盖所有写入路径。 +- Coverage: Step 1 确认 v2 用户决定和既有证据;Step 2 检查合并后的产品与测试;Step 3 保留真实使用中的风险和日志局限;Step 4 完成用户授权的 PR 与归档。 +- Verifiability: 以本分支的自动化测试、技能校验、Git 差异及 PR CI 验证;已有真实样本如实列出,不将测试通过写成行为结果通过。 +- Layer ownership: TaskFlow 负责引导与测试;宿主决定可观测事件,日志只辅助用户后续观察,产物质量仍需实际复核。 ## Approval - Status: approved - Approved by: user -- Approved at: 2026-11-12 19:29 +0800 -- Approved version: v1 +- Approved at: 2026-11-13 14:42 +0800 +- Approved version: v2 - Approved scope: PRD / Spec / Plan ## Steps -### Step 1 — 复核既有案例与真实行为基线 +### Step 1 — 确认用户决定和既有证据 -- Goal: 用历史记录和合适的实际宿主试验定位问题,记录能力选择、调查和产物。 -- Dependencies: 用户已知悉隔离限制并同意本机测试,指示仅读取测试仓库和必要技能、监控并在发现越界时中断。 -- Files: 当前任务文档和必要的脱敏样本。 +- Goal: 保留 v1 历史和未验证事实,准确反映用户决定。 +- Dependencies: 用户已明确要求测试通过后先 PR,使用中结合日志迭代。 +- Files: `prd.md`、`spec.md`、`plan.md`、`old/v1/`。 - Implementation checklist: - - [x] 对照本次失败、digdig 历史案例与旧任务测试范围。 - - [x] 明确真实测试的数据边界并获得用户授权。 - - [x] 依照用户批准的监控方式执行可复核的普通开发任务基线。 - - [x] 归纳已证实原因与待验证假设。 -- Acceptance: 每条结论有证据来源和限制;不把离线字符串测试描述为模型测试。 -- Verification: 复核事件、工具调用和实际产物。 -- Rollback: 更正任务记录,不改写历史会话。 -- Status: in_progress - -### Step 2 — 实现阶段能力引导 - -- Goal: 让既有提示要求按当前工作内容匹配实际能力,并让阶段表覆盖可用规格、探索和审查能力的概念。 -- Dependencies: 本版本 PRD、Spec、Plan 经用户批准;Step 1 的可复核基线及其限制已记录。 -- Files: `hooks/prompt-reminder`、`skills/taskflow/SKILL.md`;若验证发现需要,调整已有宿主连线和 `skills/taskflow/references/runtime.md`。 -- Implementation checklist: - - [x] 为 planning、in_progress、checking 和无活动任务的开发入口审查提示时机与内容,保持只读任务、无适用能力和同阶段继续工作的合理路径;不得虚构具体阶段。 - - [x] 在阶段概念中补充 Spec 编写等能匹配实际技能描述的用途;保留 TaskFlow 固定标题及任务文件作为唯一事实源。 - - [x] 不新增调用记录字段、技能名称白名单或硬门禁;如需超出规格的机制,先修订规格并重新取得批准。 -- Acceptance: 七阶段各有明确入口;提示要求检查描述、适用时先调用并审核结果;无合适能力可自行完成。既有状态、无任务及非开发请求语义不退化。 -- Verification: 对照 Spec 七阶段矩阵、现有宿主 hook 表和现有 prompt-reminder 输出。 -- Rollback: 恢复本 Step 相关文件至版本基线,保留用户文件及任务记录。 -- Status: in_progress - -### Step 3 — 验证提示契约与宿主覆盖 - -- Goal: 确认提示按状态输出、不产生副作用且不会损坏既有生命周期。 -- Dependencies: Step 2。 -- Files: `hooks/smoke-test`、必要的现有宿主测试与配置。 -- Implementation checklist: - - [ ] 覆盖 planning、in_progress、checking、无任务、多任务及非开发场景,验证状态输出、能力引导、unaided 和既有提示兼容;检验 hook 不修改工作区或 Git 状态。 - - [x] 运行 `bash hooks/smoke-test <项目内测试夹具目录>`、`python evals/runner.py`、`git diff --check` 和仓库要求的 skill 校验;记录环境失败及回归。 - - [x] 对照五个已声明宿主的提示入口,缺失或宿主不支持时核实并记录,不能仅按配置推断真实运行。 -- Acceptance: 定向测试和适用本地检查通过;静态断言只证明提示契约。 -- Verification: 记录命令、结果与保留的测试证据;PR CI 覆盖三平台。 -- Rollback: 回滚本 Step 的测试与连线变更,不改变基线断言以掩盖失败。 -- Status: in_progress - -### Step 4 — 真实阶段和产物验收 - -- Goal: 确认真实模型收到产品提示后,适当地使用能力并产出满足任务的结果。 -- Dependencies: Step 3;遵守用户已允许的测试范围、实时监控及官方缓存保留规则。 -- Files: 当前任务 `plan.md` 与必要的项目内测试夹具;不写产品外配置。 + - [x] 归档 v1,记录自动化测试交付条件与未完成的行为对照。 +- Acceptance: 不将未验证的技能贡献或行为结果写成已通过。 +- Verification: 对照用户原话、v1 记录与 v2 文档。 +- Rollback: 通过 Git 和 `old/v1/` 查阅既有版本。 +- Status: done + +### Step 2 — 验证合并后的引导和日志兼容 + +- Goal: 确认能力引导在已合并日志基线上通过测试。 +- Dependencies: v2 获用户授权。 +- Files: `hooks/`、`skills/taskflow/`、项目内临时夹具。 - Implementation checklist: - - [ ] 按 Spec 矩阵对定义/头脑风暴、研究、Spec、Plan、实现、测试审查、完成归档分别运行或复用有证据的正反场景;记录任务、能力、hook 提示、调用和结果,区分真实阶段与只读模拟。 - - [ ] 重放 Spec 遗漏、审查及构思场景,比较现有基线与实际产品提示;检查规格边界、根因/验证及方案取舍,使用无适用能力和无需发散的负对照。 - - [ ] 任何缺口重现、产物不可靠或提示不可达时,记录原因并回到 Step 2;缺少真实宿主结果的阶段不得称作通过。 -- Acceptance: 逐阶段结果满足需求并可复核;不凭调用或声明数量宣布有效。 -- Verification: 保存最小必要调用与产物证据,标明模型不确定性、失败、使用量和未覆盖宿主。 -- Rollback: 清理本任务测试创建的夹具,保留官方插件更新及用户文件。 + - [ ] 运行 Windows 与 Linux 适用 smoke、离线评估、技能校验和差异检查。 +- Acceptance: 必需检查通过;任何失败定位并修复,不靠修改断言掩盖。 +- Verification: 记录命令、结果及失败原因,PR 后核对全部平台 CI。 +- Rollback: 按提交回退,保留历史。 - Status: pending -### Step 5 — 交付审查与收尾 +### Step 3 — 记录后续观察范围 -- Goal: 完成交付、提交回退点并如实记录限制。 -- Dependencies: Step 4 全部验收通过及用户验收。 -- Files: 任务记录、修改的产品和测试文件。 +- Goal: 保留原 v1 的不足,以实际使用反馈和可选脱敏日志继续迭代。 +- Dependencies: Step 1。 +- Files: `plan.md`。 - Implementation checklist: - - [ ] 复核差异与七阶段验收;提交至少一次本版本代码变更,必要时增加有意义的阶段提交。 - - [ ] 按 TaskFlow 完成归档与仓库 PR 流程;合并、推送及清理仅按用户已有授权执行。 -- Acceptance: 用户问题得到实际解决、回退点和验证可追溯;所有未覆盖事项明确,不虚报完成。 -- Verification: `git diff --check`、提交状态和用户验收。 -- Rollback: 按提交回退本任务变更,保留无关工作。 + - [x] 标明规格技能贡献、实现能力选择、盲评和其他宿主真实效果尚未充分验证。 +- Acceptance: 不以自动化测试或日志事件声称问题已彻底解决。 +- Verification: 对照 v1 的测试和产物记录。 +- Rollback: 更正误述,不修改历史记录。 +- Status: done + +### Step 4 — 用户授权的 PR 与任务归档 + +- Goal: 在测试通过后归档并提交 PR,保留版本 Git 回退点。 +- Dependencies: Step 2;用户明确要求测试通过后先 PR。 +- Files: 任务记录和已修改产品文件。 +- Implementation checklist: + - [ ] 完成差异审查、版本提交与 PR 模板检查。 + - [ ] 归档任务,创建 PR 并核对 Hooks CI。 +- Acceptance: v2 Git 提交可回退;PR 及任务文档如实列出局限。 +- Verification: 提交、归档路径和 PR 检查结果。 +- Rollback: 按提交回退,不删除其他分支。 - Status: pending ## Checkpoints -方案批准前不修改产品实现。 +v2 的验收调整由用户于 2026-11-13 明确提出;归档 v1 后按该决定验证和提交。 ## Verification / Review @@ -231,6 +209,8 @@ ## Change Log +- 2026-11-13:用户决定相关自动化测试通过后先提 PR,未完成的真实使用效果通过脱敏日志及产物复核持续迭代;该验收标准变化归档 v1 并建立 v2。 + - 2026-11-12:应用户要求将工作树复制到项目 `.worktrees/capability-outcomes`,逐文件校验后修复 Git 登记。Codex 应用拒绝附加非托管工作树;旧目录保留,后续命令须显式使用项目内路径。 - 2026-11-12:同步已合并的 `main`;在任何产品代码修改前记录 v1 Git 基线 `d0b5ebc748703acd19f275f3d423959b0557a9fb`。真实 hook 夹具复现无关 MCP 事件可释放 Plan。 @@ -239,6 +219,8 @@ ## Follow-ups +- 正式使用后结合用户允许的脱敏日志及产物反馈,继续观察规格技能贡献、实现阶段能力选择、受控盲评和其他宿主效果;日志不保证可观察到所有调用。 + 真实宿主验证与既有 TF-20261110-0c7346 的边界待后续确认。 ## Version History diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md b/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md index 8b4c3cb..9bd74a2 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md @@ -1,5 +1,5 @@ # 改善 TaskFlow 能力选择与问题解决效果 -> Task version: v1 +> Task version: v2 > Status: in_progress ## Goal @@ -24,23 +24,17 @@ ## Requirements -- 从历史失败案例和现行实现重建复现条件,区分模型行为、提醒送达、宿主覆盖、记录校验与真实结果。 -- 比较现有机制与候选方案,先实测再选择是否需要阻断;不把增添字段、标记或通过字符串测试当作最终效果。 -- 衡量真实能力选择、实际调查、计划与原始问题的对应、最终产物;把工具调用与实际贡献分开。 -- 覆盖 Spec 阶段:对照可发现的适用技能、是否主动评估并读取、是否将有用方法融入 TaskFlow 指定格式以及规格是否满足实际验收;不要求无条件调用指定名称的技能。 -- 检查全部阶段的能力引导:需求定义(含问题调查、需求澄清和头脑风暴)、研究、设计、规划、实现、验证审查、完成归档;区分不适用、适合自行完成与确需引导的情况。 -- 对七阶段逐一分析并修复证实影响正常选择或使用适合能力的缺口;可以采用跨阶段的共同修复,但每个受影响阶段须有对应验证,不以新增记录替代实际效果。 -- 尊重用户授权:必要时可运行真实模型验证,具体发送内容与目标受自动审批约束;不外传私人数据或整个仓库。 -- 保留 TaskFlow 固定标题及用户可用其他能力的自由,不强制凭名称调用无关能力。 +- 保留对历史失败、根因和模型行为的调查;已获得的真实宿主与产物证据如实记录,不夸大结论。 +- 保留覆盖七阶段的能力匹配引导、TaskFlow 固定标题及无适用能力时自行完成的路径,不新增强制名称或流程标记。 +- 本次以相关自动化测试通过作为提交 PR 的条件;真实使用效果及尚未完成的行为对照在正式使用中借助已合并的脱敏日志继续观察和迭代。 +- 不将字符串测试、调用记录或日志等同于技能贡献或实际问题已解决;记录日志自身的观察和脱敏边界。 ## Acceptance Criteria -- 给出可复查的失败案例和根因或明确区分未证实假设,不把提示送达当采纳。 -- 已确认的机制变更覆盖实际行为;提供真实案例或经允许的真实宿主对照,若不可运行不得声称效果已验证。 -- 机械测试覆盖修改契约、异常和宿主边界,但不能替代模型和产物检查。 -- 真实场景或受控对照包含规格编写时遗漏适用技能的案例及不需要该技能的简单反例;记录可用技能、选择与理由、实际读取及对规格的贡献,并检查规格内容,不能仅凭调用或 unaided 标记判定通过。 -- 对七个阶段分别给出引导入口、可用能力匹配、实际覆盖和证据边界;对头脑风暴验证未定方向时的备选与取舍,以及方向已明确时避免重复发散。行为结论须基于相应真实案例或对照,不能把静态覆盖写成效果已验证。 -- 对既有归档成果和真实宿主验证待办说明关系;不擅自关闭或改写其他任务。 +- 既有引导和 Windows 宿主接线修复通过相关自动化测试及仓库要求的校验;PR 的 Hooks CI 各平台通过。 +- 七阶段引导入口、已有样本和未验证项均有可复查记录;不将未完成的技能贡献、实现阶段能力选择、固定条件对照或其他宿主效果声称为已验证。 +- 用户明确决定先提 PR,并在正式使用中通过已合并的可选脱敏日志继续观察和迭代;日志不保证能解释模型内部选择或证明技能贡献。 +- 保留已有失败案例、风险和相关任务边界,不擅自关闭其他任务。 ## External Facts @@ -57,8 +51,8 @@ ## Risks / Deferred Items -模型表现非确定性;单次测试不能证明因果或普遍有效。用户已允许在无法完全隔离时按指定范围使用本机 Codex 测试,仍须监控并在发现越界时中断。 +模型表现不确定;规格技能对产物的具体贡献、实现阶段专家技能选择、严格固定条件和盲评以及其他真实宿主行为尚未充分验证。现有日志仅提供有限事件和固定类别,可能丢失事件,无法证明模型内部意图或技能贡献;后续实际使用反馈需结合产物复核。 ## Open Questions -待完成普通开发场景及规格编写场景的行为对照;方案待实证后选择。 +正式使用中哪些能力选择问题仍会出现及其原因,待用户启用脱敏日志并结合实际产物观察;不作为本次 PR 的阻塞条件。 diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/spec.md b/TaskFlowDocs/2026-11-12-capability-outcomes/spec.md index 8e44266..c774e9f 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/spec.md +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/spec.md @@ -1,13 +1,13 @@ # Spec — 能力选择与真实问题解决调查 -> Task version: v1 +> Task version: v2 ## Objective and Success Criteria -让 TaskFlow 各阶段在适用能力可用时更可靠地发现、评估并使用它,改善实际产物;不能用填写字段、调用无关工具或测试字符串替代行为验证。 +为 TaskFlow 各阶段提供适用能力的发现与评估引导。本版本按用户决定,在相关自动化测试通过后先提交 PR;真实使用效果及未完成的行为证据留待后续观察,不将测试通过等同于行为改善已被证明。 - 开始实质工作时,引导模型将当前工作与宿主可用能力的描述匹配;有合适能力时按宿主方式读取或调用,审查结果后再吸收;没有合适能力时允许自行完成。 -- 七阶段均须有可验证的引导入口和正反场景;其中头脑风暴只在目标或方向未定时展开,需求已明确的简单任务不应被迫发散。 -- 对照须分别评价能力选择与产物:正确调用本身不等于调查、设计、实现或审查正确。真实场景若未达标,须继续修订,不得因静态测试通过而声称完成。 +- 七阶段保留可验证的引导入口及已有正反样本;头脑风暴仅在目标或方向未定时展开,已确定方向的简单任务不应被迫发散。样本不足的部分留待后续使用验证。 +- 能力选择与产物需分别评价:调用本身不等于结果正确。已有缺口明确记录,后续在真实使用中结合脱敏日志与产物迭代。 ## Architecture Boundaries and Responsibilities @@ -31,17 +31,13 @@ ## Invariants and Compatibility -不从任意事件推断模型内部动机;不声称所有宿主事件行为相同;不改变仓库外的个人配置。未获真实效果证据之前,不把提示或强制字段作为最终修复。 +不从任意事件推断模型内部动机;不声称所有宿主事件行为相同;不改变仓库外的个人配置。未获充分真实效果证据之前,不声称提示已彻底解决实际问题。 ## Validation and Error Semantics -基线包括本次遗漏能力的真实会话与 digdig 原始案例。后续受控实验要固定任务、模型、工具可用性、提示和宿主,比较具体任务的能力选择、根因证据、计划可执行性与产物;必须记录实际调用、提示到达、错误、结果和盲评口径。至少包含无需外部能力的简单对照,不能强迫所有任务调用技能。一次提示主动要求读技能的运行不构成引导效果验证。 +保留 v1 的历史失败与真实宿主样本,区别提示送达、可观察调用、产物质量和未验证假设。已发现规格样本仍包含未确认默认值,实现样本未观察到专家技能读取,不能据此推断失败原因或声称质量改善。头脑风暴有模糊目标和已选方向的有限样本,不代表长期稳定性。 -本任务自身的 Spec 首稿遗漏了可用的 `agent-skills:spec-driven-development`:在用户指出后才读取。行为评估须覆盖复杂规格任务中对适用技能的发现、评估、读取及方法在 TaskFlow 标题下的实际运用,同时检查规格的成功标准、边界与验证方法;安排无需此技能的简单反例。技能调用和 unaided 声明本身均不足以证明结果。 - -逐阶段检查需求定义、研究、设计、规划、实现、验证审查和完成归档的现有引导及能力匹配。头脑风暴归属需求定义:目标或方案未定时比较可行方向与取舍;用户已确定方向时不重复发散。已读取的 `idea-refine` 适用于模糊想法和方案压力测试,不适用于方向已确定只需写规格的情况;其默认独立输出位置与 TaskFlow 事实源应分别处理。现有 smoke test 仅验证 `divergent exploration` 的声明/对账,尚无证据表明它验证实际发散质量或真实能力选择。 - -用户于 2026-11-12 知悉无法完全隔离后的风险,允许使用本机 Codex 真实测试:指示模型仅读取测试仓库及必要技能,监控工具调用,发现越界时中断;读取结果可能发送给 OpenAI。普通 read-only 沙箱仍允许读取本机记忆,不能作为隔离证明;不得将测试描述为完全隔离。不得主动读取或输出凭据。 +用户于 2026-11-13 明确决定相关自动化测试通过后先提 PR;尚未完成的固定条件对照、盲评、技能对产物的贡献与其他宿主行为作为正式使用后的观察和迭代,不阻塞本次 PR。已合并的诊断日志默认关闭、只记录允许列表字段、异步且可能丢事件;它不能证明模型意图或技能内容被采纳。 ## Code and Test Constraints @@ -49,15 +45,15 @@ 沿用仓库 Bash 和现有测试,不新增依赖;实施后运行 `bash hooks/smoke-test <项目内测试夹具目录>`、`python evals/runner.py`、`git diff --check`,以及仓库要求的 TaskFlow skill 校验。全量跨平台检查以 PR CI 为准。测试产生的文件按用户授权清理,不删除其他文件。若某项受环境限制不能运行,须记录原因,不能写成通过。 -真实行为对照矩阵:需求定义的模糊想法与已选方向、研究中确需外部证据与不需要外部检索、复杂 Spec 与简单改字、跨文件 Plan 与简单任务、实现中有适用技术能力与无适用能力、需要审查/测试与无需额外审查、需要持久决策记录与普通归档。每项至少记录任务与能力目录、提示是否实际到达、调用顺序与结果、产物及可证伪的质量标准;正例须能检出适用能力被遗漏或调用无贡献,负例须能检出多余发散或被迫调用。优先复用历史失败样本与已获得用户同意的真实宿主测试;记录运行失败和样本限制。不能只比较调用次数或自行填写的标记。 +原 v1 的七阶段完整对照矩阵保留在 `old/v1/spec.md`。本版本不将未完成的对照作为 PR 前置,后续结合实际使用结果和日志继续验证。 ## Design Decisions and Alternatives -- 推荐候选 A:在现有提示中增加基于当前工作内容匹配实际能力描述的明确动作,并完善阶段概念。规格、审查和头脑风暴各一次对照均观察到读取适用技能,但其中两组未证明产物质量改善;因此这只是有初步证据的设计,必须通过上述真实行为和产物验收。 +- 推荐候选 A:在现有提示中增加基于当前工作内容匹配实际能力描述的明确动作,并完善阶段概念。规格、审查和头脑风暴各一次对照均观察到读取适用技能,但其中两组未证明产物质量改善;因此这只是有初步证据的设计,不能断言真实行为和产物效果已完全验证。 - 候选 B:提高调用和阶段的对应准确性。合成事件已证明现有记录存在错配;但单独加强记录不能证明调用有用,不作为本次主要修复。若实施发现它影响可见事实的正确性,须单独设计能由宿主事件支持的最小修正,不伪称阶段或成功状态。 - 候选 C:改变模型与流程交互,把确定性操作交给程序。现有证据不足以确定更大改造的所有权和收益,暂不采用。 - 不新增硬门禁或强制命名技能;保留合理 unaided 路径。现有门禁的事件误归属与 shell 写入覆盖限制须如实说明,不以提示修订宣称它们已经解决。 ## Open Questions -本机真实测试未完全隔离,已取得用户在知悉风险后的明确授权。完整七阶段真实宿主对照、跨平台提示到达及最终产物效果仍待验证;若无法验证,须如实报告并保留未完成状态。 +用户正式安装后的能力选择和产物效果仍需观察;日志可辅助定位可见事件,不可替代产物复核。 diff --git a/TaskFlowDocs/todo.md b/TaskFlowDocs/todo.md index 4e44e24..c31e62a 100644 --- a/TaskFlowDocs/todo.md +++ b/TaskFlowDocs/todo.md @@ -66,7 +66,7 @@ has an issue number or URL. - Source: user:2026-11-12 - Kind: defect - Added: 2026-11-12 -- Updated: 2026-11-12 +- Updated: 2026-11-13 - Goal: 调查并修复 TaskFlow 能力选择与计划审查未解决实际问题,复核流程标记式修复并以真实行为验证 - Task: `TaskFlowDocs/2026-11-12-capability-outcomes/` - Next action: Complete PRD / Spec / Plan and request approval. From c1a04e410ee85fdac4c8ab4f74e36771ddd5f786 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 14:49:04 +0800 Subject: [PATCH 17/18] docs: record capability guidance regression checks --- .../2026-11-12-capability-outcomes/plan.md | 18 ++++++++----- .../2026-11-12-capability-outcomes/prd.md | 2 +- TaskFlowDocs/todo.md | 25 +++++++++---------- 3 files changed, 25 insertions(+), 20 deletions(-) diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md index 0aef543..f7f5747 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md @@ -1,6 +1,6 @@ # Plan — 改善 TaskFlow 能力选择与问题解决效果 > Task version: v2 -> Status: in_progress +> Status: checking ## Spec Pointers @@ -68,11 +68,11 @@ - Dependencies: v2 获用户授权。 - Files: `hooks/`、`skills/taskflow/`、项目内临时夹具。 - Implementation checklist: - - [ ] 运行 Windows 与 Linux 适用 smoke、离线评估、技能校验和差异检查。 + - [x] 运行 Windows 与 Linux 适用 smoke、离线评估、技能校验和差异检查。 - Acceptance: 必需检查通过;任何失败定位并修复,不靠修改断言掩盖。 - Verification: 记录命令、结果及失败原因,PR 后核对全部平台 CI。 - Rollback: 按提交回退,保留历史。 -- Status: pending +- Status: done ### Step 3 — 记录后续观察范围 @@ -92,12 +92,12 @@ - Dependencies: Step 2;用户明确要求测试通过后先 PR。 - Files: 任务记录和已修改产品文件。 - Implementation checklist: - - [ ] 完成差异审查、版本提交与 PR 模板检查。 - - [ ] 归档任务,创建 PR 并核对 Hooks CI。 + - [x] 完成差异审查、版本提交与 PR 模板检查。 + - [x] 检查归档前置并准备 PR 模板;PR 创建和 Hooks CI 结果在 PR 中核对。 - Acceptance: v2 Git 提交可回退;PR 及任务文档如实列出局限。 - Verification: 提交、归档路径和 PR 检查结果。 - Rollback: 按提交回退,不删除其他分支。 -- Status: pending +- Status: done ## Checkpoints @@ -105,6 +105,12 @@ v2 的验收调整由用户于 2026-11-13 明确提出;归档 v1 后按该决 ## Verification / Review +v2 合并已发布日志基线后:Windows 全量 smoke 通过(含诊断测试、五宿主静态接线、双 shell 启动和开放 stdin);Linux 私有 tmpfs 全量 smoke `ALL SMOKE PASSED`;WSL 诊断测试通过,`python evals/runner.py` PASS (6),WSL `quick_validate.py` 通过,`git diff --check` 通过。所有夹具均位于项目工作树内。v2 仅调整验收及任务文档,v1 的代码迭代已有 Git 提交,未制作空提交。 + +- PR 模板 `.github/pull_request_template.md`:Summary 说明阶段提示及已知限制;TaskFlow traceability 指向本任务归档、`hkwuks/TaskFlow` 的 `main` 和实际差异;Verification 列出上述测试、技能校验和 PR Hooks CI;Review boundaries 保留既有缺陷待办及行为验证缺口。Hooks 需 PR 创建后触发,结果写入 PR 而非提前声称通过。 + +以下历史记录以发生时的 v1 状态为准;v2 根据用户 2026-11-13 的决定以自动化测试作为本次 PR 条件,真实行为证据缺口仍作为后续观察,不视为已证明解决。 + - 已按用户授权重新安装项目内测试插件并使用交互式 Codex `/hooks` 检查:启动时有 7 条 hook 待审查,其中 `UserPromptSubmit` 的一条来源为 `taskflow@taskflow-eval-local`;只对该条选择 trust,界面显示 Trusted,其余未全部信任。正常配置、禁用正式同名插件的非交互 Codex 会话未收到夹具任务状态;相同条件的交互会话显示 `Hook failed` 且模型答复无法取得任务状态,失败消息未识别具体 hook,因此不能断言失败一定由测试插件造成。事后只读核对本次测试会话记录,发现模型违背“不调用工具”提示,调用了工具目录查询,但没有读取任务文件;记录中未发现夹具任务编号或新增能力提示,故该轮不应描述为完全无工具。 - 测试会话可能受宿主配置/其他 hook 影响;没有识别确切的失败来源前不得宣称插件自动加载或引导有效。测试前配置与信任状态已按 SHA-256 还原,临时插件、快照和项目内夹具已删除。交互式 CLI 产生的测试会话记录尚保留;来源未明的 marketplace staging 未删除。 diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md b/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md index 9bd74a2..84bb822 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md +++ b/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md @@ -1,6 +1,6 @@ # 改善 TaskFlow 能力选择与问题解决效果 > Task version: v2 -> Status: in_progress +> Status: checking ## Goal diff --git a/TaskFlowDocs/todo.md b/TaskFlowDocs/todo.md index c31e62a..ffaf78c 100644 --- a/TaskFlowDocs/todo.md +++ b/TaskFlowDocs/todo.md @@ -35,14 +35,6 @@ has an issue number or URL. -## 增加脱敏且不阻塞运行的 TaskFlow 诊断日志和用户导出能力, - -- ID: TF-20261113-5681c7 -- Status: done -- Goal: 增加脱敏且不阻塞运行的 TaskFlow 诊断日志和用户导出能力,用于正式安装后调查能力引导与调用问题 -- Task: `TaskFlowDocs/achieved/2026-11-13-diagnostic-logs/` -- Next action: None — completed and archived. - ## 排查任务版本 Git 回退点检查的子模块忽略规则及子目录 root - ID: TF-20261112-f593c5 @@ -71,6 +63,14 @@ has an issue number or URL. - Task: `TaskFlowDocs/2026-11-12-capability-outcomes/` - Next action: Complete PRD / Spec / Plan and request approval. +## 长程任务的每个代码迭代版本至少一次 Git 提交,并按改动影 + +- ID: TF-20261112-8dd98e +- Status: done +- Goal: 长程任务的每个代码迭代版本至少一次 Git 提交,并按改动影响适时增加提交,确保溯源和回退 +- Task: `TaskFlowDocs/achieved/2026-11-12-version-commits/` +- Next action: None — completed and archived. + ## 在真实 GitHub PR 中验证已合并的文档跟进 CI 复用及失败回退 - ID: TF-20261110-8c4e24 @@ -1285,11 +1285,10 @@ has an issue number or URL. - Task: `TaskFlowDocs/achieved/2026-10-31-external-facts/` - Next action: None — completed and archived. -## 长程任务的每个代码迭代版本至少一次 Git 提交,并按改动影 +## 增加脱敏且不阻塞运行的 TaskFlow 诊断日志和用户导出能力, -- ID: TF-20261112-8dd98e +- ID: TF-20261113-5681c7 - Status: done -- Goal: 长程任务的每个代码迭代版本至少一次 Git 提交,并按改动影响适时增加提交,确保溯源和回退 -- Task: `TaskFlowDocs/achieved/2026-11-12-version-commits/` +- Goal: 增加脱敏且不阻塞运行的 TaskFlow 诊断日志和用户导出能力,用于正式安装后调查能力引导与调用问题 +- Task: `TaskFlowDocs/achieved/2026-11-13-diagnostic-logs/` - Next action: None — completed and archived. - From d80f8f30fcac46d1c8413cd9c3311b9b2f074143 Mon Sep 17 00:00:00 2001 From: hkwuks <25031515+hkwuks@users.noreply.github.com> Date: Fri, 13 Nov 2026 14:49:55 +0800 Subject: [PATCH 18/18] docs: archive capability guidance task --- .../2026-11-12-capability-outcomes/old/v1/plan.md | 0 .../2026-11-12-capability-outcomes/old/v1/prd.md | 0 .../2026-11-12-capability-outcomes/old/v1/spec.md | 0 .../2026-11-12-capability-outcomes/old/v1/version.md | 0 .../2026-11-12-capability-outcomes/plan.md | 2 +- .../2026-11-12-capability-outcomes/prd.md | 2 +- .../2026-11-12-capability-outcomes/spec.md | 0 TaskFlowDocs/todo.md | 12 +++--------- 8 files changed, 5 insertions(+), 11 deletions(-) rename TaskFlowDocs/{ => achieved}/2026-11-12-capability-outcomes/old/v1/plan.md (100%) rename TaskFlowDocs/{ => achieved}/2026-11-12-capability-outcomes/old/v1/prd.md (100%) rename TaskFlowDocs/{ => achieved}/2026-11-12-capability-outcomes/old/v1/spec.md (100%) rename TaskFlowDocs/{ => achieved}/2026-11-12-capability-outcomes/old/v1/version.md (100%) rename TaskFlowDocs/{ => achieved}/2026-11-12-capability-outcomes/plan.md (99%) rename TaskFlowDocs/{ => achieved}/2026-11-12-capability-outcomes/prd.md (99%) rename TaskFlowDocs/{ => achieved}/2026-11-12-capability-outcomes/spec.md (100%) diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/plan.md b/TaskFlowDocs/achieved/2026-11-12-capability-outcomes/old/v1/plan.md similarity index 100% rename from TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/plan.md rename to TaskFlowDocs/achieved/2026-11-12-capability-outcomes/old/v1/plan.md diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/prd.md b/TaskFlowDocs/achieved/2026-11-12-capability-outcomes/old/v1/prd.md similarity index 100% rename from TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/prd.md rename to TaskFlowDocs/achieved/2026-11-12-capability-outcomes/old/v1/prd.md diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/spec.md b/TaskFlowDocs/achieved/2026-11-12-capability-outcomes/old/v1/spec.md similarity index 100% rename from TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/spec.md rename to TaskFlowDocs/achieved/2026-11-12-capability-outcomes/old/v1/spec.md diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/version.md b/TaskFlowDocs/achieved/2026-11-12-capability-outcomes/old/v1/version.md similarity index 100% rename from TaskFlowDocs/2026-11-12-capability-outcomes/old/v1/version.md rename to TaskFlowDocs/achieved/2026-11-12-capability-outcomes/old/v1/version.md diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md b/TaskFlowDocs/achieved/2026-11-12-capability-outcomes/plan.md similarity index 99% rename from TaskFlowDocs/2026-11-12-capability-outcomes/plan.md rename to TaskFlowDocs/achieved/2026-11-12-capability-outcomes/plan.md index f7f5747..1dbf788 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/plan.md +++ b/TaskFlowDocs/achieved/2026-11-12-capability-outcomes/plan.md @@ -1,6 +1,6 @@ # Plan — 改善 TaskFlow 能力选择与问题解决效果 > Task version: v2 -> Status: checking +> Status: completed ## Spec Pointers diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md b/TaskFlowDocs/achieved/2026-11-12-capability-outcomes/prd.md similarity index 99% rename from TaskFlowDocs/2026-11-12-capability-outcomes/prd.md rename to TaskFlowDocs/achieved/2026-11-12-capability-outcomes/prd.md index 84bb822..d6ab68f 100644 --- a/TaskFlowDocs/2026-11-12-capability-outcomes/prd.md +++ b/TaskFlowDocs/achieved/2026-11-12-capability-outcomes/prd.md @@ -1,6 +1,6 @@ # 改善 TaskFlow 能力选择与问题解决效果 > Task version: v2 -> Status: checking +> Status: completed ## Goal diff --git a/TaskFlowDocs/2026-11-12-capability-outcomes/spec.md b/TaskFlowDocs/achieved/2026-11-12-capability-outcomes/spec.md similarity index 100% rename from TaskFlowDocs/2026-11-12-capability-outcomes/spec.md rename to TaskFlowDocs/achieved/2026-11-12-capability-outcomes/spec.md diff --git a/TaskFlowDocs/todo.md b/TaskFlowDocs/todo.md index ffaf78c..cd502e4 100644 --- a/TaskFlowDocs/todo.md +++ b/TaskFlowDocs/todo.md @@ -52,16 +52,10 @@ has an issue number or URL. ## 调查并修复 TaskFlow 能力选择与计划审查未解决实际问题,复 - ID: TF-20261112-21a0ce -- Status: in_progress -- Priority: normal -- Owner: Unknown -- Source: user:2026-11-12 -- Kind: defect -- Added: 2026-11-12 -- Updated: 2026-11-13 +- Status: done - Goal: 调查并修复 TaskFlow 能力选择与计划审查未解决实际问题,复核流程标记式修复并以真实行为验证 -- Task: `TaskFlowDocs/2026-11-12-capability-outcomes/` -- Next action: Complete PRD / Spec / Plan and request approval. +- Task: `TaskFlowDocs/achieved/2026-11-12-capability-outcomes/` +- Next action: None — completed and archived. ## 长程任务的每个代码迭代版本至少一次 Git 提交,并按改动影