银龄智护
面向低视力老人和居家长护场景的多模态 AI 照护助手
外滩大会 2026 参赛提交文档
一、项目一句话
银龄智护是一款运行在普通 Android 手机上的语音优先多模态 AI 照护助手，帮助低视力老人和独居老人通过“听”和“说”完成居家巡路、找物、跌倒确认、用药记录与家属复核。
二、我做了什么
本项目围绕老人居家活动中最常见、最容易出风险的动作链路展开：起身行走、经过走廊、进入卫生间、在桌面或房间里寻找物品、跌倒后确认安全、向家属或照护人员同步事件。手机端把摄像头画面、语音输入、传感器变化、视觉检测结果和文本模型判断组合起来，输出老人可以直接照做的短句提示。
- 居家巡路：识别走廊、门口、卫生间、行李堆、电线、地垫等常见家庭通行风险，用“停下、向右绕开、扶住门框”等动作语言播报。
- 找物与目标引导：用户说出要找的物品后，先校正 ASR 可能的误识别，再进入目标寻找；画面未看到目标时，提示缓慢转动手机继续扫描。
- 精确引导：用户明确说“引导”后进入连续引导模式，用身体相对方向和触觉可执行描述帮助靠近目标。
- 跌倒风险确认：结合手机传感器和过去数秒画面变化判断疑似摔倒，先语音询问并倒计时，未确认安全时进入模拟报警 UI。
- 照护记录与管理端复核：用语音记录服药、症状、风险事件，手机端和管理端同步生成可复核记录。
三、使用的工具与百炼能力
应用运行侧直接接入阿里云百炼 DashScope API，开发与提交过程可结合 OpenWork / 百炼 CLI 进行项目组织、代码生成、调试与文档整理。
- 百炼能力 / 模型：DashScope 兼容 OpenAI 协议的通义千问文本与多模态能力，用于云端视觉理解、意图判断和普通问答；DashScope ASR 用于联网语音识别；qwen3-tts-flash 用于联网语音播报兜底。
- 端侧模型与框架：MNN Runtime、DAMO-YOLO 视觉检测、Qwen3 文本模型、本地 Vosk 中文 ASR。
- 移动端实现：Android WebView UI、Java/Kotlin 业务桥接、C++ JNI 本地推理接口、传感器跌倒确认、语音优先播报与字幕同步。
- 管理端与复现：JavaScript 管理端、照护事件同步、公开 benchmark、真实场景图片测试集与自动化测试脚本。
四、技术方案
银龄智护采用“云端增强 + 端侧保底”的双模式架构。联网时优先使用百炼 DashScope 进行多模态理解、意图判断、语音识别和语音合成，提高复杂场景下的理解质量；离线时用 MNN + DAMO-YOLO + Qwen3 文本模型承担基础视觉检测、目标判断、巡路提示和普通问答，让老人即使在网络不稳定时也能获得核心辅助。
图 1 技术架构：手机端、端侧模型、百炼云端能力与管理端协同
核心处理流程从语音和画面输入开始，先做 ASR 与意图判断，再按普通问答、巡路、找物、精确引导、照护记录或跌倒确认进入不同业务链路。AI 回复同时进入字幕区和朗读队列，自动刷新模式会控制朗读节奏，避免导航提示互相打断。
图 2 功能流程：语音输入、视觉理解、目标引导、风险确认与照护复核闭环
五、效果展示
视频演示：https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
|
|
 |
 |
| 走廊巡路：识别门垫和通行空间，给出“沿中间直走、靠近门口先探边缘”的行动提示。 |
通过门口：识别左侧行李堆和右侧纸箱，提示贴近右侧白色柱子慢慢走。 |
 |
 |
| 跌倒风险：识别倒下的晾衣架，提示停下、后退半步并绕开。 |
卫生间引导：识别马桶、淋浴门槛和狭窄入口，提示扶门框、脚尖探地再进入。 |
 |
 |
| 找物引导：定位耳塞盒在正前方偏右桌面上，并提醒避开右下方电源线。 |
跌倒确认：疑似摔倒后先询问并倒计时，未确认安全时进入报警流程。 |
 |
 |
| 智能助手：可通过对话记录服药、查询照护建议、生成可复核事件。 |
管理端：家属或照护人员查看当前用户事件、风险等级和最近记录。 |
六、项目链接与可复现线索
可复现测试集与脚本：仓库内 public_benchmark_silvercare/ 目录，包含真实场景图片、测试命令、任务成功率、响应时间、误报记录和复核流程说明。
七、踩坑记录
-
语音优先体验不能简单地把所有文字都念出来。状态提示、刷新提示会打断老人听导航，我们后来把“状态变化”和“AI 导航内容”分开处理，自动模式等上次朗读结束，手动模式按用户操作覆盖。
-
手机端离线模型启动慢，普通问答容易冷启动超时。我们增加启动预热、模型下载状态、一键切换本地/云端，并把明确的照护记录命令做成快速结构化记录。
-
找物不能靠模型猜位置。目标模式下如果画面没有目标，系统提示左右缓慢转动手机并刷新；普通巡路不会误报“请转动手机找目标”。
-
跌倒报警不能一触发就通知家属。传感器和画面变化共同触发后，先语音询问“您摔倒了吗”，未恢复再进入报警 UI，降低手机掉落或剧烈晃动造成的误报。
-
长护管理端不能用演示假数据干扰判断。我们清理模拟数据，改为读取当前用户真实事件，并按巡路/找物低风险、用药中风险、摔倒报警高风险分类。
银龄智护项目组
银龄智护
面向低视力老人和居家长护场景的多模态 AI 照护助手
外滩大会 2026 参赛提交文档
一、项目一句话
银龄智护是一款运行在普通 Android 手机上的语音优先多模态 AI 照护助手，帮助低视力老人和独居老人通过“听”和“说”完成居家巡路、找物、跌倒确认、用药记录与家属复核。
二、我做了什么
本项目围绕老人居家活动中最常见、最容易出风险的动作链路展开：起身行走、经过走廊、进入卫生间、在桌面或房间里寻找物品、跌倒后确认安全、向家属或照护人员同步事件。手机端把摄像头画面、语音输入、传感器变化、视觉检测结果和文本模型判断组合起来，输出老人可以直接照做的短句提示。
三、使用的工具与百炼能力
应用运行侧直接接入阿里云百炼 DashScope API，开发与提交过程可结合 OpenWork / 百炼 CLI 进行项目组织、代码生成、调试与文档整理。
四、技术方案
银龄智护采用“云端增强 + 端侧保底”的双模式架构。联网时优先使用百炼 DashScope 进行多模态理解、意图判断、语音识别和语音合成，提高复杂场景下的理解质量；离线时用 MNN + DAMO-YOLO + Qwen3 文本模型承担基础视觉检测、目标判断、巡路提示和普通问答，让老人即使在网络不稳定时也能获得核心辅助。
图 1 技术架构：手机端、端侧模型、百炼云端能力与管理端协同
核心处理流程从语音和画面输入开始，先做 ASR 与意图判断，再按普通问答、巡路、找物、精确引导、照护记录或跌倒确认进入不同业务链路。AI 回复同时进入字幕区和朗读队列，自动刷新模式会控制朗读节奏，避免导航提示互相打断。
图 2 功能流程：语音输入、视觉理解、目标引导、风险确认与照护复核闭环
五、效果展示
视频演示：https://www.bilibili.com/video/BV1y6j26JEYE/?vd_source=955b6ff7e7021fce640d1f93ac4cf984
六、项目链接与可复现线索
可复现测试集与脚本：仓库内 public_benchmark_silvercare/ 目录，包含真实场景图片、测试命令、任务成功率、响应时间、误报记录和复核流程说明。
七、踩坑记录
语音优先体验不能简单地把所有文字都念出来。状态提示、刷新提示会打断老人听导航，我们后来把“状态变化”和“AI 导航内容”分开处理，自动模式等上次朗读结束，手动模式按用户操作覆盖。
手机端离线模型启动慢，普通问答容易冷启动超时。我们增加启动预热、模型下载状态、一键切换本地/云端，并把明确的照护记录命令做成快速结构化记录。
找物不能靠模型猜位置。目标模式下如果画面没有目标，系统提示左右缓慢转动手机并刷新；普通巡路不会误报“请转动手机找目标”。
跌倒报警不能一触发就通知家属。传感器和画面变化共同触发后，先语音询问“您摔倒了吗”，未恢复再进入报警 UI，降低手机掉落或剧烈晃动造成的误报。
长护管理端不能用演示假数据干扰判断。我们清理模拟数据，改为读取当前用户真实事件，并按巡路/找物低风险、用药中风险、摔倒报警高风险分类。
银龄智护项目组