本文提出了一种基于 transformer 的架构 PhysFormer,该架构可以增强远程光电容积描记术(rPPG)的表示,通过进行标签分布学习和课程学习来提供精细的监督,并针对四个基准数据集进行了全面实验,证明了它的优越性能。
Nov, 2021
本文提出了一种针对远程光电容积图 (rPPG) 的自监督学习方法,以提取生理信号中固有的自我相似性先验,并探索了一种特定的抗干扰策略以减少动作和光照的干扰,实现了较好的性能。
Jun, 2023
本文提出了一种无监督的远程光学脉搏测量方法,利用 3D 卷积神经网络模型以及对比损失训练模型,可以在不需要参照信号的情况下提高精度,并可以更快地运行且更耐噪音。
Aug, 2022
本文介绍了一种远程面部信号分析的新方法,应用了神经网络和自监督训练进行无监督学习,利用对感兴趣信号的弱先验建模,并成功在四个数据集上进行测试,证明了该方法的可行性和效果。
本文提出了一种基于脉冲神经网络的混合神经网络模型 Spiking-PhyFormer,该模型在保持性能的同时,相较于 PhysFormer 和其他基于 ANN 的模型降低了 12.4% 的功耗,并将变压器块的功耗降低了 12.2 倍。
Feb, 2024
本文提出了一个两阶段的端到端 RPPG 信号恢复方法,该方法包括视频增强和 RPPG 信号恢复两个阶段。实验结果表明,该方法在压缩视频上表现出色,并且具有很好的泛化能力。
Jul, 2019
视频远程生理测量是利用面部视频测量血容量变化信号,也称为远程光电容抗 (PRP)。本文提出了一种名为 Contrast-Phys + 的方法,可以在无监督和弱监督设置下进行训练。我们使用 3D 卷积神经网络模型来生成多个时空 PRP 信号,并将 PRP 的先验知识纳入对比损失函数中。我们进一步将 GT 信号纳入对比学习,以适应偏向性或错位标签。对比损失鼓励来自同一视频的 PRP/GT 信号进行分组,并将来自不同视频的信号分开。我们在包括 RGB 和近红外视频的五个公开数据集上评估我们的方法。即使在部分可用或错位的 GT 信号或没有标签的情况下,Contrast-Phys + 也优于最先进的有监督方法。此外,我们还强调了我们的方法在计算效率、噪声鲁棒性和泛化性方面的优势。
Sep, 2023
我们提出了一种基于自相似性先验蒸馏 (SSPD) 框架的无监督远程光电容积描记术 (rPPG) 估计方法,通过利用心脏活动的内在自相似性,采用物理先验嵌入增强技术抑制噪音,利用自相似性感知网络提取更可靠的自相似生理特征,以及开发分层自蒸馏范式来帮助网络从面部视频中解开自相似的生理模式。全面的实验证明,无监督的 SSPD 框架在性能上相当或甚至优于最先进的有监督方法,同时 SSPD 在端到端模型中保持最低的推断时间和计算成本。
Nov, 2023
利用自监督对比学习方法来估计远程光电容积描记法和心率监测,减少对标记数据的依赖并提高性能。
Oct, 2023
使用基于学习 Token 的双路径 TokenLearner(Dual-TL)的原生 Transformer 框架,综合利用面部视频的空间和时间信息,实现高准确度的远程光电体积脉搏测量。
Aug, 2023