Cindy 主动尝试读取图片时报 unsupported_feature 错误，导致整个会话停摆

[cindy-issue]

提交人: 用户3927
客户端版本: 0.1.50

---

现象

在会话中执行任务时，Cindy 自行判断需要读取图片并主动尝试读取，但当前环境不支持图片读取（报错 Responses feature is not supported by the Chat Completions bridge: input_image）。报错后整个会话无法继续，只能新建会话。

复现步骤

1. 在会话中发起一个任务，让 Cindy 自行分析。
2. Cindy 自行判断需要读取图片并主动尝试读取。
3. 返回错误：{"error":{"type":"invalid_request_error","code":"unsupported_feature","message":"Responses feature is not supported by the Chat Completions bridge: input_image"}}。
4. 会话停摆，无法继续，只能新建会话。

期望行为

Cindy 能识别到当前环境不支持图片读取，改用其他方式解决问题（如优先分析代码），或至少明确提示用户并保证会话可以继续，不应导致整个会话停摆。

实际行为

主动尝试读取图片后报错，导致整个会话停摆，只能新建会话才能继续。

复现频率

每次尝试读取图片时都会复现。

已尝试的方法

尚未尝试解决（未重启或换方式验证）。

版本区域: CN
OS: win32 x64 (10.0.26200)
界面语言: zh-CN

[dash-s-cindy]

判断

这是值得处理的图片桥接覆盖缺口和会话恢复问题。Cindy 已经具备“纯文本主模型借视觉桥理解图片”的产品能力；用户不应因为一次 input_image 兼容错误而失去整个会话。

进一步检查当前源码 36b9c48a83d2f2c2076806f3e47b1e934d209df0 发现，本报告不能简单归因于“当前环境完全不支持图片”：

• 已合并的 feat(vision-bridge): 纯文本模型视觉桥（层 A/B/C/D + 设置 UI + 用户提示） #2543 提供了可配置视觉桥，可把图片转换为文字描述，覆盖 Session、Proxy、Pi 和工具结果等入口。
• Responses→Chat Completions 桥本身也能把 input_image 转成 Chat 的 image_url，但只对已验证支持视觉的特定官方 host/model 路由开启；未声明能力的路由继续 fail-closed。这一保护对 DeepSeek 等纯文本上游是合理的。
• 当前真正可见的缺口是：Codex 的 openai-chat 路由使用本地 localHandler，而该 handler 在共享请求 transform 链之前执行，可能绕过已经配置的视觉桥。若 Agent 读取图片后，图片以当前消息、工具结果或压缩历史的 input_image 形态进入该分支，就会在本地翻译阶段被拒绝。

因此，不建议把修复定义为“让 Agent 优先读代码、不要尝试读图”。图片可能是完成任务所必需的上下文，而且仓库已有明确的视觉桥产品方向。应修复入口行为一致性，并保证失败后会话可以恢复。

行动

1. 先取得一次脱敏失败请求，确定图片来源和实际路由。 建议记录：

   • provider ID、最终 model ID、wire protocol；
   • 视觉桥是否开启、目标模型是否命中 shouldBridge；
   • input[] 各项的 type、role 和顺序；
   • input_image 位于最新用户消息、function_call_output/工具结果、旧历史，还是 auto-compact replacement history；
   • 图片报错后的下一条纯文本是否进入 provider dispatch。

   图片 URL/base64 和用户正文可替换为固定占位，不需要提交真实内容。当前 Issue 没有这些信息，因此尚不能确认“主动读取”具体对应哪一种 payload。

2. 优先补齐 openai-chat localHandler 的视觉预处理。 apps/desktop/src/main/maker-host/codex-proxy-host.ts 中的 prepareLocalBridgeBody() 已集中恢复 localHandler 绕过共享链后所需的 instructions 和跨供应商历史处理；同一入口应在 Responses→Chat 翻译前复用现有视觉桥语义：

   • 视觉桥已开启且最终目标模型命中时，将 URL/data URL input_image 转换成 input_text 描述；
   • 描述失败时使用现有“图片不可用、不要猜测”的安全占位；
   • 同时覆盖普通消息和工具结果中的图片；
   • 不修改持久化聊天记录或删除用户原始附件。

   实现时需注意视觉转换是异步的，且应按 requestModelOverride 应用后的最终模型判断，避免按旧模型做路由。

3. 保留现有 fail-closed 边界。 视觉桥关闭时，不应全局把 Chat bridge 默认改成 imageInput: 'image_url'，也不应静默删除当前真实新发的图片；纯文本上游仍可能直接返回 4xx。可以继续：

   • 对已确认支持视觉的路由转换并发送；
   • 对较早历史中的不兼容图片按 fix(desktop): 修复 DeepSeek 图片失败后会话无法恢复 #1329 的既有策略裁剪；
   • 对当前新图片给出可理解、可恢复的提示。

4. 核对 compact 和合成角色边界。 packages/responses-chat-bridge/src/translate-request.ts 以最后一个显式 role: user 作为当前轮边界，只对其之前的用户图片执行历史裁剪；现有测试还要求“图片消息后只有 latest_reminder”时继续 fail-closed。如果实际 compact payload 把旧图片保留在最后一个显式 user 项，而当前文字只存在于合成 reminder，这会把旧图误判为当前输入。应根据真实 payload 修正边界，而不是无条件删除所有图片。

5. 把图片重复失败与 Session 真正卡死分开验证。 如果转换/裁剪图片后同一会话立即恢复，主要故障是持久化历史反复进入拒绝路径；如果下一请求已经不含图片，却仍没有 provider dispatch，再按 Session freezes after switching model OpenAI -> DeepSeek -> OpenAI; turn lease is never released #2693 的 Session generation、迟到 abort、输入协调器和 turn lease 路径单独排查。缺少这一证据时，不应顺带清空 SDK thread 或修改 turn lease。

代码证据

• apps/desktop/src/main/maker-host/codex-proxy-host.ts
  • createChatBridgeDecision() 返回 localHandler，直接调用 createResponsesChatHandler()。
  • prepareLocalBridgeBody() 上方明确注明：localHandler runs before the shared request transform chain。
  • buildVisionBridgeProxyTransform(log) 已加入普通 proxy 的共享 transform 链，但当前 localHandler 的预处理没有调用它。
• packages/anthropic-compat-proxy/src/vision-bridge-transform.ts
  • 已能扫描 Responses input[].content 和 input[].output 中的 input_image；后者覆盖工具结果形态。
  • 转换成功时替换为 input_text，失败时替换为明确的图片不可用占位。
• packages/responses-chat-bridge/src/translate-request.ts
  • 对不支持图片的路由，只裁剪 index < newestUserMessageIndex 的历史用户图片。
  • 最新用户图片、工具结果中的不兼容图片仍 fail-closed。
  • file_id 是 provider-scoped 引用，即便路由支持 image_url 也不能直接跨供应商转换。

建议回归验证

至少覆盖以下场景：

1. openai-chat localHandler + 纯文本主模型 + 视觉桥开启；
2. 最新用户消息含 URL/data URL 图片；
3. function_call_output 或其他工具结果中含图片；
4. auto-compact/replacement-history 后旧图片与 latest_reminder 共存；
5. 图片在进入 Chat translator 前已转换，不再返回 unsupported_feature: input_image；
6. 视觉桥描述失败时产生安全占位，会话仍可继续；
7. 视觉桥关闭时，最新真实图片仍 fail-closed，历史图片继续按 fix(desktop): 修复 DeepSeek 图片失败后会话无法恢复 #1329 恢复；
8. 报错后的下一条纯文本可以正常 dispatch，不需要新建会话；
9. 原始附件仍保留在聊天记录中；
10. 压缩后不会逐轮重复描述同一历史图片并产生不必要的延迟或费用；
11. file_id 图片不被误当成可跨供应商 URL 转换。

相关记录

• bug: 上下文压缩后历史图片以 input_image 进入请求，视觉桥未覆盖导致会话卡死 #2805：v0.1.50 下相同 unsupported_feature: input_image 的压缩/历史重放报告；很可能与 localHandler 绕过视觉桥及 compact 当前轮边界有关，但本 Issue 尚缺 payload，暂不能确认完全同根因。
• feat(vision-bridge): 纯文本模型视觉桥（层 A/B/C/D + 设置 UI + 用户提示） #2543：已合并纯文本模型视觉桥，确认“使用外部视觉模型把图片转成文字后继续任务”是现有产品能力，不是本 Issue 新提出的方向。
• fix(desktop): 修复 DeepSeek 图片失败后会话无法恢复 #1329：已合并不支持图片的 Chat 路由历史裁剪和失败后恢复；当前问题应视为该恢复边界未覆盖的图片形态或回归，而不是重新设计整套恢复策略。
• fix(desktop): 非多模态模型上传图片时展示友好提示而非原始 400 错误 #2143：正在实现图片能力拒绝后的友好提示和一次性恢复，但尚未合并，且当前与 main 存在冲突；其中严格错误分类、保留原附件和区分当前图片/历史图片的思路可复用，但需要与已合并视觉桥及当前 localHandler 架构重新整合。
• Session freezes after switching model OpenAI -> DeepSeek -> OpenAI; turn lease is never released #2693：记录了同一图片错误后切模仍不 dispatch 的独立 Session 恢复故障；只有在请求已不含图片但会话仍卡住时，才应把它作为生命周期排查依据。

当前结论基于指定源码快照和仓库历史。仍缺一次真实失败请求的脱敏结构，因此图片究竟来自 Agent 工具结果、压缩历史还是当前消息，是实施前需要补齐的唯一关键运行证据。