Jun, 2024
心血管系统信号中高效多视图融合和灵活视角缺失自适应
Efficient Multi-View Fusion and Flexible Adaptation to View Missing in Cardiovascular System Signals
Qihan Hu, Daomiao Wang, Hong Wu, Jian Liu, Cuiwei Yang
TL;DR深度学习和传感器的普及加速了心血管系统信号的自动多视图融合 (MVF)。然而，现有的 MVF 模型往往将相同时间步但不同视图的心血管信号合并为一个统一的表示，忽视了心血管事件的异步性以及不同视图之间的固有异质性，导致了严重的视图混淆。本文提出了面向视图的变压器 (VCT) 和多任务遮蔽自编码器 (M2AE)，强调每个视图的中心性，并利用无标签数据实现卓越的融合表示。此外，我们首次系统地定义了缺失视图问题，并引入提示技术，以帮助预训练的 MVF 模型灵活适应各种缺失视图场景。针对心房颤动检测、血压估计和睡眠分期等典型的健康监测任务开展了严格实验证明了我们方法在 MVF 方面相对于现有方法的显著优势。值得注意的是，提示技术仅需要对整个模型的不到 3% 的数据进行微调，大大加强了模型对视图缺失的鲁棒性，同时避免了完整重新训练的需求。结果证明了我们方法的有效性，并突出了它们在心血管健康监测中的实际应用潜力。代码和模型已在指定的 URL 上发布。