GVT2RPM:一项有关于应用普适视频 Transformer 进行远程生理测量的经验研究
本论文提出了一种交叉验证的特征分离策略,以获得与非生理特征分离的生理特征,并使用提取出的生理特征进行多任务生理测量,该方法在多个公共数据集上进行了综合实验,表现出了较好的鲁棒性。
Jul, 2020
本文提出了一种基于视频 Transformer 的方法,从面部视频中估计瞬时心率和呼吸率,并在大规模 Vision-for-Vitals 基准测试中取得优异表现,尤其在瞬时呼吸率估计方面超越了基于浅层和深度学习的方法。
Feb, 2022
本文提出了两种对非接触式心率估计中长度和面部运动造成的误差进行修正的方法,并且使用一个双流双分辨率框架来训练模型以学习稳健的面部信号特征,实验证明了所提出方法的优越性。
Nov, 2022
本文提出了一种基于 transformer 的架构 PhysFormer,该架构可以增强远程光电容积描记术(rPPG)的表示,通过进行标签分布学习和课程学习来提供精细的监督,并针对四个基准数据集进行了全面实验,证明了它的优越性能。
Nov, 2021
通过使用深度时空网络重建精确的远程光学心电图信号,我们提出了一种 rPPG 测量方法,能够从面部视频中测量心率和心率变异性,并在心房颤动检测和情感识别方面取得了有前途的成果。
May, 2019
本文介绍了一种新的、精确的、实时的远程光学心率监测方法,可以测量心率、提取脉搏波形并计算心率变异性,无需特定的训练,可在实际应用中得到良好的结果。
Sep, 2019
本论文利用面部表情分析技术,运用回归视频转换(RVT)模型对老年轻度认知障碍患者的实时动态监测,实现对认知训练过程中注意力、动机和情感等方面的可持续参与度的评估,该模型根据视频帧分析进行计算,能够精确预测认知训练中的参与度,对于之后的计算机认知训练干预工作奠定了基础。
Apr, 2023
本文提出了一个两阶段的端到端 RPPG 信号恢复方法,该方法包括视频增强和 RPPG 信号恢复两个阶段。实验结果表明,该方法在压缩视频上表现出色,并且具有很好的泛化能力。
Jul, 2019
本文提出了一种基于 RhythmNet 的心率远程估测方法,并建立了一个大规模的多模态心率数据库(VIPL-HR),其包含 2,378 个可见光和 752 红外视频,该方法在公共数据库和 VIPL-HR 数据库上都表现出优异的表现。
Oct, 2019
RhythmFormer 是一种基于 Transformer 的全端对端方法,通过明确利用 rPPG 的准周期性特性来提取 rPPG 信号。在多个时间尺度上,层次化时间周期性 Transformer 核心模块从中提取周期性特征,利用时间域的动态稀疏注意力来对 rPPG 特征进行精细建模。此外,还提出了融合模块以有效地指导自注意力到 rPPG 特征,能够轻松地转移到现有方法以显著提升它们的性能。与之前的方法相比,在综合实验中,RhythmFormer 表现出更少的参数和降低的计算复杂度,达到了最先进的性能。
Feb, 2024