Oct, 2020

基于心率估计的 DeepFakes 检测

PDF
TL;DR本文介绍了一种基于生理测量的新型 DeepFake 检测框架，利用远程光电测量心率（rPPG）方法来分析视频序列中与人类皮肤微小颜色变化相关的信息，以便更好地检测制造的 DeepFake 视频。我们提出的 DeepFakesON-Phys 假检测器使用卷积注意网络（CAN）从视频帧中提取空间和时间信息，分析并结合两个来源以更好地检测假视频。探究结果表明，该检测方法在 Celeb-DF 和 DFDC 数据库上达到了 98% 以上的 AUC（曲线下的面积），超过了现有技术的水平，并证明了基于生理测量的假检测器成功检测了最新的 DeepFake 视频。
发现论文，激发创造
  • 使用注意力视觉心跳节律揭示 DeepFakes 的 DeepRhythm

    本论文提出了一种名为 DeepRhythm 的 DeepFakes 检测技术，通过检测心跳规律来检测 DeepFakes，具有良好的效果和泛化能力。

    Jun, 2020

  • 面部视频隐私保护型心率远程估计

    本文提出了一种数据扰动的方法，通过提取少量含有身份相关信息的面部区域进行像素洗牌和模糊处理来解决 Remote Photoplethysmography 数据的隐私问题，实验表明该方法可将面部识别算法的准确性降低 60%，而对 rPPG 提取几乎不产生影响，可作为一种有效的隐私保护方案。

    Jun, 2023

  • 使用时空网络从面部视频中远程测量光电容积脉搏信号

    通过使用深度时空网络重建精确的远程光学心电图信号，我们提出了一种 rPPG 测量方法，能够从面部视频中测量心率和心率变异性，并在心房颤动检测和情感识别方面取得了有前途的成果。

    May, 2019

  • 从恶劣视频中实现无接触心率测量

    该研究利用图像处理技术恶化视频质量，模拟挑战性条件，评估了非学习和基于学习的 rPPG 方法在恶劣数据上的表现。结果显示这些限制条件下的准确率显著下降，因此建议应用去噪和修填等恢复技术来改善心率估计结果并提高方法的鲁棒性和适应性。

    Apr, 2023

  • 基于端到端深度学习和视频增强的高度压缩面部视频心率远程测量

    本文提出了一个两阶段的端到端 RPPG 信号恢复方法，该方法包括视频增强和 RPPG 信号恢复两个阶段。实验结果表明，该方法在压缩视频上表现出色，并且具有很好的泛化能力。

    Jul, 2019

  • 利用面部视频估计心率和血压的相移远程光电测量

    通过深度学习建立的两阶段视觉远程光电测量网络 (DRP-Net) 和边界血压网络 (BBP-Net) 可估算心率和血压，其中 DRP-Net 用于估算心率，BBP-Net 通过分析不同部位的光电信号的相位差估算收缩压与舒张压。与最近的方法相比，本方法在心率估算上减小了 34.31% 的平均绝对误差 (MAE)。

    Jan, 2024

  • rFaceNet：通过身份特定的面部轮廓提取增强生理信号的端到端网络

    介绍了一种名为 rFaceNet 的高级 rPPG 方法，通过整合特定身份的脸部轮廓信息和消除冗余数据，通过时间压缩单元（TCU）高效地从输入视频帧中提取面部轮廓，并使用跨任务特征组合器（CTFC）将模型关注点导向相关的面部区域，提高了 rFaceNet 提取到的面部生理信号的质量和可解释性，同时在各种心率估计基准测试中表现出卓越的性能。

    Mar, 2024

  • 通过任意分辨率视频学习抗运动影响的遥测脉搏测量技术

    本文提出了两种对非接触式心率估计中长度和面部运动造成的误差进行修正的方法，并且使用一个双流双分辨率框架来训练模型以学习稳健的面部信号特征，实验证明了所提出方法的优越性。

    Nov, 2022

  • PulseGAN: 远程光电容积脉搏图中学习生成逼真脉搏波形

    本文提出了一种新的基于生成对抗神经网络的框架，名为 PulseGAN，用于通过去噪染色信号产生逼真的远程光电容积脉搏测量 (rPPG) 脉搏信号，以提高健康监控和情感识别的准确性。该框架在公共 UBFC-RPPG 数据库中得到了验证，表明 PulseGAN 可以有效地提高波形质量，进而增强心率 (HR)、心率变异性 (HRV) 和心动间隔 (IBI) 的准确性，且显著优于其他方法。

    Jun, 2020

  • DeepPhys: 使用卷积注意力网络进行基于视频的生理测量

    本文提出了一种使用深度卷积神经网络进行基于视频的非接触式心率和呼吸率测量的新方法，该系统采用一种基于皮肤反射模型的新动作表示和一种使用外观信息引导运动估计的新注意机制，从而实现在异质光照和主要运动下强大的测量，其空间 - 时域分布可通过注意机制进行可视化，能够显著优于所有当前最先进的 RGB 和红外视频数据集上的方法。

    May, 2018