面部视频隐私保护型心率远程估计
该研究利用图像处理技术恶化视频质量,模拟挑战性条件,评估了非学习和基于学习的 rPPG 方法在恶劣数据上的表现。结果显示这些限制条件下的准确率显著下降,因此建议应用去噪和修填等恢复技术来改善心率估计结果并提高方法的鲁棒性和适应性。
Apr, 2023
本文提出了两种对非接触式心率估计中长度和面部运动造成的误差进行修正的方法,并且使用一个双流双分辨率框架来训练模型以学习稳健的面部信号特征,实验证明了所提出方法的优越性。
Nov, 2022
本文提出了一个两阶段的端到端 RPPG 信号恢复方法,该方法包括视频增强和 RPPG 信号恢复两个阶段。实验结果表明,该方法在压缩视频上表现出色,并且具有很好的泛化能力。
Jul, 2019
本文提出了一种利用远程光电容积图术(rPPG)任务中的显性和隐性先验知识的新框架,通过系统分析不同领域的噪声源,并将这些先验知识纳入网络进行训练,同时利用两个分支网络通过隐式标签相关性去除噪声并提取生理特征分布,我们的实验证明,该方法不仅在 RGB 跨数据集评估上胜过现有方法,而且能够很好地从 RGB 数据集泛化到 NIR 数据集。
Mar, 2024
本文提出了一种基于低光照条件下的远程心率测量的技术性解决方案,并通过一个大规模的数据集,评估了在不同光照变化下 rPPG 算法(Green、ICA 和 POS)的性能,并发现在低光照条件下,人脸检测算法无法检测人脸,脉冲信号的振幅降低将导致噪声信号占主导地位,并且基于色度的方法在皮肤色调假设方面存在局限性,提出的解决方案可以有效地提高脉冲信号的信噪比和精度。
Mar, 2023
研究表明,当前基于深度学习的 Remote Photoplethysmography (rPPG) 模型倾向于学习训练数据集中的脉搏波特征,作者提出的一种扩充训练数据集范围和变化性的方法成功缓解了这种倾向,进一步提高了模型的泛化能力。
May, 2023
本文介绍了一种远程面部信号分析的新方法,应用了神经网络和自监督训练进行无监督学习,利用对感兴趣信号的弱先验建模,并成功在四个数据集上进行测试,证明了该方法的可行性和效果。
Nov, 2021
通过使用深度时空网络重建精确的远程光学心电图信号,我们提出了一种 rPPG 测量方法,能够从面部视频中测量心率和心率变异性,并在心房颤动检测和情感识别方面取得了有前途的成果。
May, 2019
本文介绍了一种基于生理测量的新型 DeepFake 检测框架,利用远程光电测量心率(rPPG)方法来分析视频序列中与人类皮肤微小颜色变化相关的信息,以便更好地检测制造的 DeepFake 视频。我们提出的 DeepFakesON-Phys 假检测器使用卷积注意网络(CAN)从视频帧中提取空间和时间信息,分析并结合两个来源以更好地检测假视频。探究结果表明,该检测方法在 Celeb-DF 和 DFDC 数据库上达到了 98% 以上的 AUC(曲线下的面积),超过了现有技术的水平,并证明了基于生理测量的假检测器成功检测了最新的 DeepFake 视频。
Oct, 2020
利用三维面部表面构建一个新颖的基于方向条件的面部纹理视频表示,改善现有基于视频的面部远程光电测量的方法对动态和自由主体运动的鲁棒性。通过在 MMPD 上进行交叉数据集测试,我们的方法在纯净数据集上训练的 PhysNet 模型基线的性能上取得了显著的 18.2% 的改进,突显了我们设计的视频表示的有效性和普适性。在所有测试的动态情景中,即使存在动态和自由主体运动,我们的方法在 MMPD 上得到了高达 29.6% 的显著性能改进。验证了通过对三维面部表面的建模来解释运动的优势,我们通过消融实验验证了我们设计决策的有效性和不同视频处理步骤的影响。我们的发现展示了在视频中利用三维面部表面作为解决动态和自由主体运动的一般策略的潜在优势。该代码可在链接处获得。
Apr, 2024