Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
20 commits
Select commit Hold shift + click to select a range
52852a2
docs: record capability guidance investigation
hkwuks Nov 12, 2026
d0b5ebc
Merge remote-tracking branch 'origin/main' into fix/taskflow-capabili…
hkwuks Nov 12, 2026
0dfe57b
fix: guide capability selection throughout task work
hkwuks Nov 12, 2026
4e03912
fix: preserve existing reminder layout
hkwuks Nov 12, 2026
89754dd
fix: launch Codex hooks reliably on Windows
hkwuks Nov 13, 2026
c73435c
fix: guide task-specific capability selection
hkwuks Nov 13, 2026
4c76825
test: keep Windows smoke fixtures within test root
hkwuks Nov 13, 2026
fceeef5
docs: record capability guidance verification
hkwuks Nov 13, 2026
84f4950
docs: record Linux smoke coverage
hkwuks Nov 13, 2026
f9c5af4
docs: record complete Linux smoke validation
hkwuks Nov 13, 2026
34dfc7a
fix: review capability output against task scope
hkwuks Nov 13, 2026
7d2e60a
docs: record final capability validation gaps
hkwuks Nov 13, 2026
7218bfa
feat: add privacy-safe diagnostic logs
hkwuks Nov 13, 2026
67617a5
docs: record diagnostic validation and host boundary
hkwuks Nov 13, 2026
74999bb
docs: record real Codex diagnostic verification
hkwuks Nov 13, 2026
38060eb
docs: archive diagnostic log task
hkwuks Nov 13, 2026
4b58197
Merge remote-tracking branch 'origin/main' into fix/taskflow-capabili…
hkwuks Nov 13, 2026
b3f8fbe
docs: revise capability guidance acceptance
hkwuks Nov 13, 2026
c1a04e4
docs: record capability guidance regression checks
hkwuks Nov 13, 2026
d80f8f3
docs: archive capability guidance task
hkwuks Nov 13, 2026
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
246 changes: 246 additions & 0 deletions TaskFlowDocs/achieved/2026-11-12-capability-outcomes/old/v1/plan.md

Large diffs are not rendered by default.

64 changes: 64 additions & 0 deletions TaskFlowDocs/achieved/2026-11-12-capability-outcomes/old/v1/prd.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,64 @@
# 改善 TaskFlow 能力选择与问题解决效果
> Task version: v1
> Status: in_progress

## Goal

调查并改善 TaskFlow 在开发任务中选择适用能力、调查真实问题和审查计划的效果,避免把流程标记当成问题已解决。

## Task Kind

- Kind: defect

## Background / Confirmed Facts

- 用户要求同时推进仓库版本提交与本任务,两个任务分别验收。
- 当前会话中,promote 已提醒考虑能力,但 Agent 直接声明 unaided、用 Python 写文档,且计划审查结论未经充分复核。
- 历史 digdig 会话有类似批量写文档后被用户指出缺少调查和计划审查的记录;同一会话也有后来读取规划技能的记录。
- 2026-11-07 repro-requirement 的验证主要检查种类、词汇与审批记录,不证明模型找到了真实根因。
- Codex 配置的写前能力门只匹配 apply_patch;离线 evals 不调用模型。机械测试不等于真实模型行为验证。
- 使用真实 hook 和隔离 Git worktree 合成宿主事件:未调用能力时 Plan 写入被拒绝;注入与规划无关的 `mcp__unrelated__calendar` 后,同一 Plan 写入放行,`released` 将它记为 Plan 的调用。该复现证明门禁未核验阶段相关性,不证明用户会话一定发生了该事件错配。
- 在本次用户请求中,promote 的提示实际输出,但 Agent 随后仍直接声明 unaided 并写出不充分审查的 Plan;这是一个真实失败样本,不能推断失败频率或独立归因。
- 本任务撰写 Spec 时,Agent 未发现并评估技能目录中明确适用的 `agent-skills:spec-driven-development`,而在首稿后声明 unaided。用户指出后才读取该技能;这是另一项真实失败,无法仅凭声明推断已充分检查可用能力。
- 2026-11-12 启动只读 Codex 模型基线被自动审批拒绝:可能把仓库内容发送到模型服务,未明确输入范围及目的地。未通过其他方式绕过。

## Requirements

- 从历史失败案例和现行实现重建复现条件,区分模型行为、提醒送达、宿主覆盖、记录校验与真实结果。
- 比较现有机制与候选方案,先实测再选择是否需要阻断;不把增添字段、标记或通过字符串测试当作最终效果。
- 衡量真实能力选择、实际调查、计划与原始问题的对应、最终产物;把工具调用与实际贡献分开。
- 覆盖 Spec 阶段:对照可发现的适用技能、是否主动评估并读取、是否将有用方法融入 TaskFlow 指定格式以及规格是否满足实际验收;不要求无条件调用指定名称的技能。
- 检查全部阶段的能力引导:需求定义(含问题调查、需求澄清和头脑风暴)、研究、设计、规划、实现、验证审查、完成归档;区分不适用、适合自行完成与确需引导的情况。
- 对七阶段逐一分析并修复证实影响正常选择或使用适合能力的缺口;可以采用跨阶段的共同修复,但每个受影响阶段须有对应验证,不以新增记录替代实际效果。
- 尊重用户授权:必要时可运行真实模型验证,具体发送内容与目标受自动审批约束;不外传私人数据或整个仓库。
- 保留 TaskFlow 固定标题及用户可用其他能力的自由,不强制凭名称调用无关能力。

## Acceptance Criteria

- 给出可复查的失败案例和根因或明确区分未证实假设,不把提示送达当采纳。
- 已确认的机制变更覆盖实际行为;提供真实案例或经允许的真实宿主对照,若不可运行不得声称效果已验证。
- 机械测试覆盖修改契约、异常和宿主边界,但不能替代模型和产物检查。
- 真实场景或受控对照包含规格编写时遗漏适用技能的案例及不需要该技能的简单反例;记录可用技能、选择与理由、实际读取及对规格的贡献,并检查规格内容,不能仅凭调用或 unaided 标记判定通过。
- 对七个阶段分别给出引导入口、可用能力匹配、实际覆盖和证据边界;对头脑风暴验证未定方向时的备选与取舍,以及方向已明确时避免重复发散。行为结论须基于相应真实案例或对照,不能把静态覆盖写成效果已验证。
- 对既有归档成果和真实宿主验证待办说明关系;不擅自关闭或改写其他任务。

## External Facts

- Depends on external facts: no
- Why not: 现有提示和事件行为以 `hooks/prompt-reminder`、`hooks/capability-evidence` 及用户授权的历史会话为依据;若方案依赖宿主外部契约再重新评估。

## In Scope

能力选择、模型实际调查与审查、提示和验证方式;历史标记式修复的有效性复核。

## Out of Scope

代替用户实现其他任务的功能、未经验证强制增加标记、泄露仓库或私人上下文。

## Risks / Deferred Items

模型表现非确定性;单次测试不能证明因果或普遍有效。用户已允许在无法完全隔离时按指定范围使用本机 Codex 测试,仍须监控并在发现越界时中断。

## Open Questions

待完成普通开发场景及规格编写场景的行为对照;方案待实证后选择。
Original file line number Diff line number Diff line change
@@ -0,0 +1,63 @@
# Spec — 能力选择与真实问题解决调查
> Task version: v1

## Objective and Success Criteria

让 TaskFlow 各阶段在适用能力可用时更可靠地发现、评估并使用它,改善实际产物;不能用填写字段、调用无关工具或测试字符串替代行为验证。

- 开始实质工作时,引导模型将当前工作与宿主可用能力的描述匹配;有合适能力时按宿主方式读取或调用,审查结果后再吸收;没有合适能力时允许自行完成。
- 七阶段均须有可验证的引导入口和正反场景;其中头脑风暴只在目标或方向未定时展开,需求已明确的简单任务不应被迫发散。
- 对照须分别评价能力选择与产物:正确调用本身不等于调查、设计、实现或审查正确。真实场景若未达标,须继续修订,不得因静态测试通过而声称完成。

## Architecture Boundaries and Responsibilities

- 宿主事件只能证明事件到达及记录,不能单独证明能力相关、被采纳或修复成功。
- TaskFlow 负责阶段路由与有界提示;专家能力负责具体调查和规划;评估由独立的真实案例和产物检查完成。
- Codex `apply_patch` 与通过 shell / Python 写文件走不同事件路径;不得把某一工具上的门禁宣称成所有写入的强制保证。

## Project Structure / Affected Files

拟修改 `hooks/prompt-reminder` 的既有提示、`skills/taskflow/SKILL.md` 的阶段概念和能力选择说明,以及 `hooks/smoke-test` 中相关行为断言;必要时同步已声明宿主的配置与 `skills/taskflow/references/runtime.md`。复用现有 hook,不新增依赖或任务记录字段。

## Interfaces, Data Flow, and Contracts

当前机制观察:`capability-evidence` 接受 `mcp__*` 事件;`capability-gate` 按队列先后匹配阶段。事件与阶段意图及产物贡献没有一一对应,允许 unaided,审批检查审查字段完整性而非结论正确性。不能将这些机制视为真实能力选择或问题修复的证明。

候选实现契约:继续使用现有 `UserPromptSubmit` 提醒,在 planning 和执行/检查时要求模型结合当前工作内容检查宿主实际能力描述,评估是否适用;选择使用时先按宿主方式读取或调用,再将经过审查的有用结果融入当前任务。提示应允许无适合能力时自行完成,不指定供应商、技能名称、调用数量或额外审批字段。规划状态不得假定当前一定是 Spec;执行/检查状态不得假定每一轮都进入新阶段。选定能力或调用记录不代表结果可靠。

技能阶段表补充足以匹配规格编写、方案探索、实现、测试/审查和归档文档等实际概念的描述,同时保留 TaskFlow 的七阶段与固定文档结构。不得让规划能力的默认文件位置覆盖 TaskFlow 事实源。

规划技能默认输出 `tasks/plan.md`;TaskFlow 把任务目录的 `plan.md` 作为事实源。采用技能的方法时将有效内容纳入 TaskFlow 的指定文档,保留被 hooks 匹配的标题和字段,不另造竞争文档。

## Invariants and Compatibility

不从任意事件推断模型内部动机;不声称所有宿主事件行为相同;不改变仓库外的个人配置。未获真实效果证据之前,不把提示或强制字段作为最终修复。

## Validation and Error Semantics

基线包括本次遗漏能力的真实会话与 digdig 原始案例。后续受控实验要固定任务、模型、工具可用性、提示和宿主,比较具体任务的能力选择、根因证据、计划可执行性与产物;必须记录实际调用、提示到达、错误、结果和盲评口径。至少包含无需外部能力的简单对照,不能强迫所有任务调用技能。一次提示主动要求读技能的运行不构成引导效果验证。

本任务自身的 Spec 首稿遗漏了可用的 `agent-skills:spec-driven-development`:在用户指出后才读取。行为评估须覆盖复杂规格任务中对适用技能的发现、评估、读取及方法在 TaskFlow 标题下的实际运用,同时检查规格的成功标准、边界与验证方法;安排无需此技能的简单反例。技能调用和 unaided 声明本身均不足以证明结果。

逐阶段检查需求定义、研究、设计、规划、实现、验证审查和完成归档的现有引导及能力匹配。头脑风暴归属需求定义:目标或方案未定时比较可行方向与取舍;用户已确定方向时不重复发散。已读取的 `idea-refine` 适用于模糊想法和方案压力测试,不适用于方向已确定只需写规格的情况;其默认独立输出位置与 TaskFlow 事实源应分别处理。现有 smoke test 仅验证 `divergent exploration` 的声明/对账,尚无证据表明它验证实际发散质量或真实能力选择。

用户于 2026-11-12 知悉无法完全隔离后的风险,允许使用本机 Codex 真实测试:指示模型仅读取测试仓库及必要技能,监控工具调用,发现越界时中断;读取结果可能发送给 OpenAI。普通 read-only 沙箱仍允许读取本机记忆,不能作为隔离证明;不得将测试描述为完全隔离。不得主动读取或输出凭据。

## Code and Test Constraints

定向测试事件形状与脚本入口,真实行为测试必须独立于标记字段;所有夹具保留或按用户许可清理。

沿用仓库 Bash 和现有测试,不新增依赖;实施后运行 `bash hooks/smoke-test <项目内测试夹具目录>`、`python evals/runner.py`、`git diff --check`,以及仓库要求的 TaskFlow skill 校验。全量跨平台检查以 PR CI 为准。测试产生的文件按用户授权清理,不删除其他文件。若某项受环境限制不能运行,须记录原因,不能写成通过。

真实行为对照矩阵:需求定义的模糊想法与已选方向、研究中确需外部证据与不需要外部检索、复杂 Spec 与简单改字、跨文件 Plan 与简单任务、实现中有适用技术能力与无适用能力、需要审查/测试与无需额外审查、需要持久决策记录与普通归档。每项至少记录任务与能力目录、提示是否实际到达、调用顺序与结果、产物及可证伪的质量标准;正例须能检出适用能力被遗漏或调用无贡献,负例须能检出多余发散或被迫调用。优先复用历史失败样本与已获得用户同意的真实宿主测试;记录运行失败和样本限制。不能只比较调用次数或自行填写的标记。

## Design Decisions and Alternatives

- 推荐候选 A:在现有提示中增加基于当前工作内容匹配实际能力描述的明确动作,并完善阶段概念。规格、审查和头脑风暴各一次对照均观察到读取适用技能,但其中两组未证明产物质量改善;因此这只是有初步证据的设计,必须通过上述真实行为和产物验收。
- 候选 B:提高调用和阶段的对应准确性。合成事件已证明现有记录存在错配;但单独加强记录不能证明调用有用,不作为本次主要修复。若实施发现它影响可见事实的正确性,须单独设计能由宿主事件支持的最小修正,不伪称阶段或成功状态。
- 候选 C:改变模型与流程交互,把确定性操作交给程序。现有证据不足以确定更大改造的所有权和收益,暂不采用。
- 不新增硬门禁或强制命名技能;保留合理 unaided 路径。现有门禁的事件误归属与 shell 写入覆盖限制须如实说明,不以提示修订宣称它们已经解决。

## Open Questions

本机真实测试未完全隔离,已取得用户在知悉风险后的明确授权。完整七阶段真实宿主对照、跨平台提示到达及最终产物效果仍待验证;若无法验证,须如实报告并保留未完成状态。
Original file line number Diff line number Diff line change
@@ -0,0 +1,18 @@
# Archived Version v1 — Plan — 改善 TaskFlow 能力选择与问题解决效果
> Task: 2026-11-12-capability-outcomes
> Version: v1
> Status: superseded
> Archived: 2026-11-13 14:39 +0800
> Superseded by: v2
> Archive mode: file

## Change Summary
用户决定自动化测试通过后先提交 PR,未完成的真实行为和产物效果通过正式使用中的脱敏日志及产物复核继续迭代;保留 v1 证据与限制。

## Archived Materials
- prd.md
- spec.md
- plan.md

## Restore
Read the archived v1 core docs from a new temporary restore root. Do not overwrite the current task root.
Loading
Loading