多模态融合老人行为监测与报警系统

项目背景

我国老龄化进程加速，老年人口规模持续扩大，催生海量养老服务需求。传统养老照护模式受人力成本攀升和突发情况响应滞后两大核心瓶颈制约，失能老人照护供需比达1:10，养老机构护工缺口显著，老年人突发跌倒、昏厥等情况难以被及时监测与处置。

跌倒已成为养老照护领域核心风险点，世界卫生组织数据显示，65岁及以上老年人年跌倒发生率约30%，80岁及以上高龄老人一年内再次跌倒概率高达70%，社会亟需创新、高效且可负担的养老服务解决方案。

30%

65+老人年跌倒发生率

70%

80+老人再次跌倒概率

1:10

失能老人照护供需比

核心研究内容

多模态数据采集与预处理

整合计算机视觉摄像头、加速度传感器、声音传感器等多源设备，实现老年人姿态、动作、环境声音、身体活动状态等行为数据的实时采集，为后续分析提供全面数据支撑。

多模态融合与大模型分析

采用特征层融合方法，融合视觉姿态、传感器运动、声音环境等特征，基于轻量级大模型精准识别摔倒、久坐不起、突发昏厥等危险行为，大幅降低单一模态的漏报、误报率。

多设备联动与双向交互

实现多摄像头联动协同，支持终端一次性绑定所有设备；开发双向通话系统，支持主动呼叫与报警后自动接通，方便子女/医护人员与老人紧急沟通。

用户权限与多终端适配

针对养老院等场景开发精细化权限管理，为护工、家属、医护人员分配专属查看权限；同时适配护士站、小程序等多终端，满足不同场景的使用需求。

产品核心特色

多模态融合+轻量级大模型

突破单一视觉检测局限，多维度数据综合判断；大模型适配端侧部署，无需高性能服务器，开发与使用成本更低。

多摄像头智能联动+画面自适应

统一绑定管理多摄像头，根据老人移动轨迹自动切换主监控画面，彻底解决单一摄像头的监控盲区问题。

分级报警+个性化通知配置

支持自定义报警接收方式与通知优先级，不同危险等级匹配不同通知强度，避免无效信息干扰，确保紧急情况无遗漏。

全维度隐私保护优化

大模型本地部署，数据传输采用加密协议；支持摄像头定时休眠、敏感区域遮挡，兼顾监测安全与老人隐私。

开发规划与时间线

第1-2个月：前期准备与设备选型

完成文献调研，确定技术方案与开发工具；选型摄像头、加速度传感器、蓝牙模块等硬件设备。

第3-4个月：数据采集与模型构建

搭建多模态数据采集平台，测试大模型接口；实现数据预处理，基于轻量级大模型构建行为识别模型并完成初步训练调优。

第5-6个月：核心功能开发

开发多摄像头联动、双向通话系统；实现语音唤醒与分级报警机制，对接小程序终端并完成基础功能集成（中期考核节点）。

第7-8个月：系统优化与测试

开展居家等多场景测试，收集用户反馈；修复功能漏洞，优化操作界面与隐私保护功能。

第9个月：成果整理与完善

完成系统整体调试，形成可演示产品原型；整理研究报告、技术文档、测试报告，拍摄功能演示视频（结题考核节点）。

项目团队与指导教师

张书玮

申请人 | 核心算法开发

北京-都柏林国际学院软件工程

王禹齐

团队成员 | 前端交互开发

计算机类相关专业

陈露铭

团队成员 | 硬件采集开发