使用深度学习远程光电容积脉搏模型相似性测量领域转变
研究表明,当前基于深度学习的 Remote Photoplethysmography (rPPG) 模型倾向于学习训练数据集中的脉搏波特征,作者提出的一种扩充训练数据集范围和变化性的方法成功缓解了这种倾向,进一步提高了模型的泛化能力。
May, 2023
通过多个低秩专家的混合模型和新型路由机制,设计了一种适应于多任务远程生理测量的模型(PhysMLE),并引入了生理学中的先验知识以克服实际多任务生理测量中标签空间不平衡的问题。运用提出的多源语序域泛化(MSSDG)协议进行了充分的实验和评估,证明了 PhysMLE 的有效性和效率。
May, 2024
本文介绍了一种远程面部信号分析的新方法,应用了神经网络和自监督训练进行无监督学习,利用对感兴趣信号的弱先验建模,并成功在四个数据集上进行测试,证明了该方法的可行性和效果。
Nov, 2021
本文提出了一种利用远程光电容积图术(rPPG)任务中的显性和隐性先验知识的新框架,通过系统分析不同领域的噪声源,并将这些先验知识纳入网络进行训练,同时利用两个分支网络通过隐式标签相关性去除噪声并提取生理特征分布,我们的实验证明,该方法不仅在 RGB 跨数据集评估上胜过现有方法,而且能够很好地从 RGB 数据集泛化到 NIR 数据集。
Mar, 2024
本文介绍了一种名为 NEST 的基于神经元结构建模的无领域标签方法,用于解决远程光电容积脉搏 (rPPG) 测量任务中的领域转移问题,并在多个数据集的测试中表现出优异的通用性能。
Mar, 2023
我们提出了一种基于自相似性先验蒸馏 (SSPD) 框架的无监督远程光电容积描记术 (rPPG) 估计方法,通过利用心脏活动的内在自相似性,采用物理先验嵌入增强技术抑制噪音,利用自相似性感知网络提取更可靠的自相似生理特征,以及开发分层自蒸馏范式来帮助网络从面部视频中解开自相似的生理模式。全面的实验证明,无监督的 SSPD 框架在性能上相当或甚至优于最先进的有监督方法,同时 SSPD 在端到端模型中保持最低的推断时间和计算成本。
Nov, 2023
远程摄像测量血容量脉搏通过光容积脉搏图(rPPG)是一种可伸缩、低成本、易于获取心血管信息的引人注目的技术。我们使用最新发布的同步接触式 PPG 和面部视频测量的独特数据集,对训练面部视频 rPPG 模型时是否使用来自身体其他部位的接触式测量数据进行优化进行了精确和定量的研究,结果显示,使用额头 PPG 信号相较于手指 PPG 信号,可以获得高达 40% 的均方误差降低,模型更好地学习了地面真实 PPG 信号的形态。然而,从手指 PPG 训练的模型仍然能很好地学习到主导频率(即心率)的特征。
Mar, 2024
本文提出了一种数据扰动的方法,通过提取少量含有身份相关信息的面部区域进行像素洗牌和模糊处理来解决 Remote Photoplethysmography 数据的隐私问题,实验表明该方法可将面部识别算法的准确性降低 60%,而对 rPPG 提取几乎不产生影响,可作为一种有效的隐私保护方案。
Jun, 2023
本文提出了一种无监督的远程光学脉搏测量方法,利用 3D 卷积神经网络模型以及对比损失训练模型,可以在不需要参照信号的情况下提高精度,并可以更快地运行且更耐噪音。
Aug, 2022