医工交叉多模态感知，于无声处感知生命

行业背景

穿戴设备测量准确，但患者难以长期坚持佩戴。WiFi 与毫米波雷达则几乎不引入额外负担，设备成本低、体积小，部署后即可持续工作，也不受光照条件影响。凭借这些优势，无线信号成为课题组的主要感知通道，视觉则在合适的场景中补充更丰富的观测细节。

研究从数据采集起步。课题组使用商用设备在真实房间中采集大量无线信号，并同步记录人体的真实状态作为标注，随后训练深度学习模型从信号中识别人体活动。初步结果验证了技术可行性，深度学习模型仅凭信号的变化即可判断房间内是否有人、处于何种活动状态。

WiFi 信道状态信息（CSI）能够反映人体最微小的动作，胸腔起伏、肢体移动都会在信道读数中留下特征。深度学习模型对这些特征逐层解析，把感知对象从动作推进到呼吸与心跳，形成无接触生命体征监测能力。

语音是另一条信息通道。房间内已有的麦克风可以拾取鼾声、咳嗽、交谈与脚步，语音识别与音频深度学习模型将这些声音转化为睡眠质量与日常状态的信息。它与无线感知共享同样的部署优势，无接触、不打扰、易于扩展。

视觉观测的信息量最大，覆盖外观、姿态、动作与场景。借助视觉深度学习模型，摄像头画面可以被转化为姿态与行为分析，并作为其他通道的对照参照。隐私要求决定了视觉在系统中的角色，它在特定合规场景中作为补充通道工作，补充无线通道无法提供的细节。

单一通道各有局限，多模态融合由此成为系统的基础。借助深度学习融合模型，无线信号、语音与视觉相互补充，感知结果在复杂环境中保持稳定。研究成果最终要回到真实环境中检验，与江苏省人民医院的合作，让算法在真实病房的数据与需求中持续打磨。

研究方向

同一套技术，四个方向。从真实环境的数据出发，课题组让模型在人体定位、生理与行为感知、人体姿态估计与阿尔兹海默症筛查中都给出可用的答案。

未来方向

未来的病房里，感知模型运行在床旁的边缘设备上，全天候观察着房间。呼吸变浅、心律异常、夜间离床、意外跌倒，都会被及时识别，并由健康助手 Agent 通报护士站。患者不需要佩戴任何设备，监护由环境本身完成，连续记录的生理数据也为医生的诊断提供长期依据。这一切正在成为现实，课题组自研的毫米波、WiFi 与红外一体化采集平台已经能够在真实房间中同步捕获呼吸、心律与体动，与江苏省人民医院合作的房颤无接触监测正在积累临床数据，让阵发性心律异常的检出不再依赖偶然。

同样的能力将走出医院，进入千家万户。一台路由器与一个音箱，就是一套家庭感知系统，长期记录睡眠、呼吸与活动节律。健康助手 Agent 从数十天的数据中追踪健康的缓慢变化，让早期筛查融入日常生活。无论是房颤这样的隐匿性心律异常，还是阿尔兹海默症的早期征兆，都能被及时提示，并以对话的方式解释依据、给出建议。出院后的复查与随访也在家中完成，康复进度被持续记录，异常时才会提醒就医，例行检查不必再往返医院。每位老人的家中都将有一位不知疲倦的私人医生，来自日常环境的长期观察，将取代一次性的门诊判断。

病房与家庭积累的连续观测，最终会指向同一个问题，如何从已知的数据看清未来的变化。课题组希望用世界模型来回答。它从长期多模态观测中学习人体状态的演化规律，预测康复的走向，提示心律异常等事件发生前的预警信号，让医疗团队在变化发生之前有所准备。预测之外，世界模型也支持交互，医生可以询问不同诊疗方案下可能出现的结果，家属也能用自然语言了解未来的可能性，回答建立在模拟轨迹与可观测的数据之上。

支撑这一切的，是课题组正在研究的统一表征与多模态大模型，让模型跨场景迁移，让感知系统能够解释自己的判断、与人自然对话，世界模型正建立在这样的基础之上。当感知融入每一间病房与每一个家庭，筛查、诊断与复诊将连成一条不间断的链条，疾病在被确诊之前就已被观察，风险在被发生之前就已被提示，医疗将从「事件驱动」走向「持续在场」。而这一切的一切，仅从一个模型、一组数据开始……