🔬 北京工业大学 · 星火基金项目

基于多模态融合的老人行为
实时监测与报警服务系统

融合计算机视觉、加速度传感器与声音识别技术,结合轻量级AI大模型, 实现老年人危险行为的精准识别与即时报警,为智慧养老提供创新解决方案。

项目概述

面向老龄化社会的智慧养老解决方案

让科技守护每一位老人

当前我国老龄化进程加速,老年人口数量激增。传统养老照护模式面临人力成本攀升与安全响应滞后的双重挑战。老年人突发健康事件(如跌倒、昏厥)风险较高,现有服务体系依赖人工巡查,存在响应滞后的结构性短板。

本项目利用计算机视觉、加速度传感器等多源传感设备,通过多模态融合处理,综合判断老年人行为状态。当老人身处危险(如摔倒、久坐不起)时,系统即时通过手机终端向医护人员或子女发出报警,协助老人尽快摆脱困境。

项目将智能传感与人工智能技术融入养老服务,推动养老服务向智能化、精细化、普惠化方向发展,为积极应对人口老龄化提供可落地的技术方案。

30%+
65岁以上老人年跌倒发生率(WHO数据)
1:10
失能老人照护供需比
3+
多模态数据源融合判断
<3s
危险行为报警响应时间

核心功能

四大模块构建全方位安全守护体系

📡

多模态数据采集

整合摄像头视觉数据、加速度传感器运动数据、声音传感器环境音频数据,实现老年人姿态、动作、环境声音的实时全维度采集与预处理。

🧠

融合分析与大模型识别

基于特征层融合,将视觉姿态特征、运动加速度特征与环境语音特征融合,结合轻量级大模型精准识别摔倒、久坐不起、突发昏厥等危险行为,有效降低漏报与误报率。

🔗

多设备联动与双向通话

实现多摄像头智能联动,一键绑定所有设备;根据老人移动轨迹自动切换主监控画面。支持双向语音通话,报警后自动接通,方便紧急沟通确认。

🔐

权限管理与隐私保护

精细化用户权限管控,支持为护工、家属、医护人员分配不同查看权限。本地部署大模型,数据加密传输,支持摄像头定时休眠与敏感区域遮挡,全面保障隐私安全。

产品特色

突破传统方案的四大创新优势

🧠 多模态融合 + 轻量级大模型协同

突破单一视觉检测局限,融合视觉、传感器、声音多模态数据。通过适配端侧部署的轻量级大模型进行综合判断,无需依赖高性能服务器即可实现高精度识别,符合大学生开发条件。

📊
视觉 + 运动 + 声音

📹 多摄像头智能联动 + 画面自适应

不仅实现多摄像头统一绑定管理,还能根据老年人移动轨迹自动切换主监控画面,彻底解决单一摄像头监控盲区问题,实现无缝全域覆盖。

🔄
智能切换 · 无缝覆盖

🚨 分级报警 + 个性化通知配置

支持用户自定义报警接收方式和通知优先级,针对摔倒、久坐不起等不同危险等级匹配差异化通知强度,避免无效信息干扰,同时确保紧急情况不遗漏。

🔔
三级报警 · 精准推送

🛡️ 隐私保护深度优化

本地部署大模型实现数据不出户处理,传输全程加密;支持摄像头定时休眠与敏感区域智能遮挡功能,在保障安全的同时最大化保护老人隐私。

🔒
本地处理 · 加密传输

技术架构

端到端的数据采集、分析与响应流程

📹 摄像头
📳 加速度传感器
🎤 声音传感器
🔗 多模态
数据融合
🧠 轻量级
大模型分析
🚨 分级
报警推送
📱 子女/医护
小程序终端

数据采集层 → 特征融合层 → 智能分析层 → 报警响应层 → 用户终端层

团队成员

北京工业大学 · 北京-都柏林国际学院

张书玮

项目负责人 · 核心算法
软件工程专业
负责系统架构设计、多模态融合算法开发与模型训练

王禹齐

前端交互开发
数字媒体技术专业
负责小程序前端开发、用户交互界面与可视化面板实现

陈露铭

硬件采集开发
物联网工程专业
负责传感器选型、硬件采集模块搭建与数据传输调试

王志强

指导教师
计算机学院 · 讲师
研究方向:混合现实、SLAM、深度学习

项目计划

2026年1月 – 2027年1月 · 9个月研发周期

第1–2个月
📚 前期准备与设备选型
完成文献调研,确定技术方案与开发工具。选型摄像头、加速度传感器、蓝牙模块等硬件设备。
第3–4个月
📊 数据采集与模型构建
搭建多模态数据采集平台,实现数据预处理流程。基于轻量级大模型构建行为识别模型,完成初步训练与调优。
第5–6个月
⚙️ 核心功能开发
开发多摄像头联动模块与双向通话系统。实现分级报警机制,对接小程序终端,完成基础功能集成。
★ 中期考核节点:视觉识别系统搭建完成,手机预览+多摄像头联动基础功能
第7–8个月
🔧 系统优化与测试
开展居家等多场景测试,收集用户反馈,修复功能漏洞,优化操作界面与隐私保护功能。
第9个月
🎯 成果整理与完善
完成系统整体调试,形成可演示的产品原型。整理研究报告、技术文档与测试报告。