迈向运动稳健性: 一种遮蔽关注正规化框架在远程光电测量中的应用
本文提出了一个两阶段的端到端RPPG信号恢复方法,该方法包括视频增强和RPPG信号恢复两个阶段。实验结果表明,该方法在压缩视频上表现出色,并且具有很好的泛化能力。
Jul, 2019
本文提出了一种基于transformer的架构PhysFormer,该架构可以增强远程光电容积描记术(rPPG)的表示,通过进行标签分布学习和课程学习来提供精细的监督,并针对四个基准数据集进行了全面实验,证明了它的优越性能。
Nov, 2021
本文提出了两种对非接触式心率估计中长度和面部运动造成的误差进行修正的方法,并且使用一个双流双分辨率框架来训练模型以学习稳健的面部信号特征,实验证明了所提出方法的优越性。
Nov, 2022
使用基于学习Token的双路径TokenLearner(Dual-TL)的原生Transformer框架,综合利用面部视频的空间和时间信息,实现高准确度的远程光电体积脉搏测量。
Aug, 2023
视频远程生理测量是利用面部视频测量血容量变化信号,也称为远程光电容抗(PRP)。本文提出了一种名为Contrast-Phys+的方法,可以在无监督和弱监督设置下进行训练。我们使用3D卷积神经网络模型来生成多个时空PRP信号,并将PRP的先验知识纳入对比损失函数中。我们进一步将GT信号纳入对比学习,以适应偏向性或错位标签。对比损失鼓励来自同一视频的PRP/GT信号进行分组,并将来自不同视频的信号分开。我们在包括RGB和近红外视频的五个公开数据集上评估我们的方法。即使在部分可用或错位的GT信号或没有标签的情况下,Contrast-Phys+也优于最先进的有监督方法。此外,我们还强调了我们的方法在计算效率、噪声鲁棒性和泛化性方面的优势。
Sep, 2023
利用远程光电容积法(rPPG)技术,通过面部视频无接触地测量心脏活动,采用长时空图rPPG变换网络PhySU-Net并自监督预训练策略,利用无标记数据提高模型性能。
Feb, 2024
RhythmFormer是一种基于Transformer的全端对端方法,通过明确利用rPPG的准周期性特性来提取rPPG信号。在多个时间尺度上,层次化时间周期性Transformer核心模块从中提取周期性特征,利用时间域的动态稀疏注意力来对rPPG特征进行精细建模。此外,还提出了融合模块以有效地指导自注意力到rPPG特征,能够轻松地转移到现有方法以显著提升它们的性能。与之前的方法相比,在综合实验中,RhythmFormer表现出更少的参数和降低的计算复杂度,达到了最先进的性能。
Feb, 2024
本文提出了一种利用远程光电容积图术(rPPG)任务中的显性和隐性先验知识的新框架,通过系统分析不同领域的噪声源,并将这些先验知识纳入网络进行训练,同时利用两个分支网络通过隐式标签相关性去除噪声并提取生理特征分布,我们的实验证明,该方法不仅在RGB跨数据集评估上胜过现有方法,而且能够很好地从RGB数据集泛化到NIR数据集。
Mar, 2024
利用三维面部表面构建一个新颖的基于方向条件的面部纹理视频表示,改善现有基于视频的面部远程光电测量的方法对动态和自由主体运动的鲁棒性。通过在MMPD上进行交叉数据集测试,我们的方法在纯净数据集上训练的PhysNet模型基线的性能上取得了显著的18.2%的改进,突显了我们设计的视频表示的有效性和普适性。在所有测试的动态情景中,即使存在动态和自由主体运动,我们的方法在MMPD上得到了高达29.6%的显著性能改进。验证了通过对三维面部表面的建模来解释运动的优势,我们通过消融实验验证了我们设计决策的有效性和不同视频处理步骤的影响。我们的发现展示了在视频中利用三维面部表面作为解决动态和自由主体运动的一般策略的潜在优势。该代码可在链接处获得。
Apr, 2024
本文针对传统远程光电容积图(rPPG)模型在未见领域的泛化能力差的问题,提出了首个无源领域自适应基准(SFDA-rPPG)。该方法通过采用三分支时空一致性网络(TSTC-Net)和基于频率域瓦瑟斯坦距离(FWD)的新型rPPG分布对齐损失,实现了在无源数据访问的情况下有效的领域自适应,实验结果表明该方法在无源领域自适应设置下的有效性。
Sep, 2024