Mar, 2024

rFaceNet：通过身份特定的面部轮廓提取增强生理信号的端到端网络

PDF
TL;DR介绍了一种名为 rFaceNet 的高级 rPPG 方法，通过整合特定身份的脸部轮廓信息和消除冗余数据，通过时间压缩单元（TCU）高效地从输入视频帧中提取面部轮廓，并使用跨任务特征组合器（CTFC）将模型关注点导向相关的面部区域，提高了 rFaceNet 提取到的面部生理信号的质量和可解释性，同时在各种心率估计基准测试中表现出卓越的性能。
发现论文，激发创造
  • 使用时空网络从面部视频中远程测量光电容积脉搏信号

    通过使用深度时空网络重建精确的远程光学心电图信号，我们提出了一种 rPPG 测量方法，能够从面部视频中测量心率和心率变异性，并在心房颤动检测和情感识别方面取得了有前途的成果。

    May, 2019

  • 基于端到端深度学习和视频增强的高度压缩面部视频心率远程测量

    本文提出了一个两阶段的端到端 RPPG 信号恢复方法，该方法包括视频增强和 RPPG 信号恢复两个阶段。实验结果表明，该方法在压缩视频上表现出色，并且具有很好的泛化能力。

    Jul, 2019

  • 面部视频隐私保护型心率远程估计

    本文提出了一种数据扰动的方法，通过提取少量含有身份相关信息的面部区域进行像素洗牌和模糊处理来解决 Remote Photoplethysmography 数据的隐私问题，实验表明该方法可将面部识别算法的准确性降低 60%，而对 rPPG 提取几乎不产生影响，可作为一种有效的隐私保护方案。

    Jun, 2023

  • 基于心率估计的 DeepFakes 检测

    本文介绍了一种基于生理测量的新型 DeepFake 检测框架，利用远程光电测量心率（rPPG）方法来分析视频序列中与人类皮肤微小颜色变化相关的信息，以便更好地检测制造的 DeepFake 视频。我们提出的 DeepFakesON-Phys 假检测器使用卷积注意网络（CAN）从视频帧中提取空间和时间信息，分析并结合两个来源以更好地检测假视频。探究结果表明，该检测方法在 Celeb-DF 和 DFDC 数据库上达到了 98% 以上的 AUC（曲线下的面积），超过了现有技术的水平，并证明了基于生理测量的假检测器成功检测了最新的 DeepFake 视频。

    Oct, 2020

  • 通过任意分辨率视频学习抗运动影响的遥测脉搏测量技术

    本文提出了两种对非接触式心率估计中长度和面部运动造成的误差进行修正的方法，并且使用一个双流双分辨率框架来训练模型以学习稳健的面部信号特征，实验证明了所提出方法的优越性。

    Nov, 2022

  • 一种用于实验和验证远程生命体征测量的 Web 应用程序

    通过远程 PPG 技术从面部视频中提取心率、呼吸率等生命体征。应用信号处理滤波器提取血容量脉搏信号并根据不同算法估计各项生命体征。使用 Web 应用程序框架进行实现，验证了其准确性和鲁棒性。

    Aug, 2022

  • 基于方向条件的人脸纹理映射用于基于视频的人脸遥感光电容积测量

    利用三维面部表面构建一个新颖的基于方向条件的面部纹理视频表示，改善现有基于视频的面部远程光电测量的方法对动态和自由主体运动的鲁棒性。通过在 MMPD 上进行交叉数据集测试，我们的方法在纯净数据集上训练的 PhysNet 模型基线的性能上取得了显著的 18.2% 的改进，突显了我们设计的视频表示的有效性和普适性。在所有测试的动态情景中，即使存在动态和自由主体运动，我们的方法在 MMPD 上得到了高达 29.6% 的显著性能改进。验证了通过对三维面部表面的建模来解释运动的优势，我们通过消融实验验证了我们设计决策的有效性和不同视频处理步骤的影响。我们的发现展示了在视频中利用三维面部表面作为解决动态和自由主体运动的一般策略的潜在优势。该代码可在链接处获得。

    Apr, 2024

  • 通过对比学习走近我的心：从未标记视频中进行远程光电容积图

    本文介绍了一种远程面部信号分析的新方法，应用了神经网络和自监督训练进行无监督学习，利用对感兴趣信号的弱先验建模，并成功在四个数据集上进行测试，证明了该方法的可行性和效果。

    Nov, 2021

  • 对比 - 生理学：通过时空对比进行无监督基于视频的远程生理学测量

    本文提出了一种无监督的远程光学脉搏测量方法，利用 3D 卷积神经网络模型以及对比损失训练模型，可以在不需要参照信号的情况下提高精度，并可以更快地运行且更耐噪音。

    Aug, 2022

  • 用不同身体部位的视频和目标进行训练的 rPPG 模型有多次优？

    远程摄像测量血容量脉搏通过光容积脉搏图（rPPG）是一种可伸缩、低成本、易于获取心血管信息的引人注目的技术。我们使用最新发布的同步接触式 PPG 和面部视频测量的独特数据集，对训练面部视频 rPPG 模型时是否使用来自身体其他部位的接触式测量数据进行优化进行了精确和定量的研究，结果显示，使用额头 PPG 信号相较于手指 PPG 信号，可以获得高达 40% 的均方误差降低，模型更好地学习了地面真实 PPG 信号的形态。然而，从手指 PPG 训练的模型仍然能很好地学习到主导频率（即心率）的特征。

    Mar, 2024