Jul, 2024

基于增强远程光电容积脉搏信号形态的生物特征认证

PDF
TL;DR远程光电容积图（rPPG）是一种非接触式测量面部视频中心脏信号的方法，提供了一种方便的替代接触式光电容积图（cPPG）。最近的研究表明，每个人都具有独特的可用作生物识别标识符的 cPPG 信号形态，这启发我们利用从面部视频中提取的 rPPG 信号形态进行个人认证。我们首先对面部视频进行去识别处理，以消除面部外貌同时保留 rPPG 信息，以保护面部隐私并确保仅使用 rPPG 进行认证。去识别视频输入 rPPG 模型获得 rPPG 信号形态进行认证。在第一训练阶段，进行了无监督的 rPPG 训练以获得粗略的 rPPG 信号。在第二训练阶段，通过整合外部 cPPG 数据集来进行 rPPG-cPPG 混合训练，实现 rPPG 生物识别和增强 rPPG 信号形态。我们的方法只需要带有主体 ID 的去识别面部视频来训练 rPPG 认证模型。实验结果表明，面部视频中隐藏的 rPPG 信号形态可用于生物识别认证。可以在此 https URL 获取代码。
remote photoplethysmographyfacial videosperson authenticationrppg signal morphologybiometric identifier
发现论文，激发创造
  • 面部视频隐私保护型心率远程估计

    本文提出了一种数据扰动的方法，通过提取少量含有身份相关信息的面部区域进行像素洗牌和模糊处理来解决 Remote Photoplethysmography 数据的隐私问题，实验表明该方法可将面部识别算法的准确性降低 60%，而对 rPPG 提取几乎不产生影响，可作为一种有效的隐私保护方案。

    Jun, 2023

  • 使用时空网络从面部视频中远程测量光电容积脉搏信号

    通过使用深度时空网络重建精确的远程光学心电图信号，我们提出了一种 rPPG 测量方法，能够从面部视频中测量心率和心率变异性，并在心房颤动检测和情感识别方面取得了有前途的成果。

    May, 2019

  • 通过任意分辨率视频学习抗运动影响的遥测脉搏测量技术

    本文提出了两种对非接触式心率估计中长度和面部运动造成的误差进行修正的方法，并且使用一个双流双分辨率框架来训练模型以学习稳健的面部信号特征，实验证明了所提出方法的优越性。

    Nov, 2022

  • 通过显式和隐式先验知识的融合推动可泛化的远程生理测量

    本文提出了一种利用远程光电容积图术（rPPG）任务中的显性和隐性先验知识的新框架，通过系统分析不同领域的噪声源，并将这些先验知识纳入网络进行训练，同时利用两个分支网络通过隐式标签相关性去除噪声并提取生理特征分布，我们的实验证明，该方法不仅在 RGB 跨数据集评估上胜过现有方法，而且能够很好地从 RGB 数据集泛化到 NIR 数据集。

    Mar, 2024

  • 从恶劣视频中实现无接触心率测量

    该研究利用图像处理技术恶化视频质量，模拟挑战性条件，评估了非学习和基于学习的 rPPG 方法在恶劣数据上的表现。结果显示这些限制条件下的准确率显著下降，因此建议应用去噪和修填等恢复技术来改善心率估计结果并提高方法的鲁棒性和适应性。

    Apr, 2023

  • RhythmMamba：快速远程生理测量与任意长度视频

    使用 Mamba 为基础的 RhythmMamba 方法，通过多时间尺度的 Mamba 约束周期模式与短期趋势，并结合频域前馈使得 Mamba 能够牢固理解 rPPG 的准周期模式。大量实验证明，RhythmMamba 在减少参数和降低计算复杂度的同时，实现了最先进的性能。该方法适用于任意长度的视频片段且性能不降。

    Apr, 2024

  • 基于端到端深度学习和视频增强的高度压缩面部视频心率远程测量

    本文提出了一个两阶段的端到端 RPPG 信号恢复方法，该方法包括视频增强和 RPPG 信号恢复两个阶段。实验结果表明，该方法在压缩视频上表现出色，并且具有很好的泛化能力。

    Jul, 2019

  • 通过对比学习走近我的心：从未标记视频中进行远程光电容积图

    本文介绍了一种远程面部信号分析的新方法，应用了神经网络和自监督训练进行无监督学习，利用对感兴趣信号的弱先验建模，并成功在四个数据集上进行测试，证明了该方法的可行性和效果。

    Nov, 2021

  • PulseGAN: 远程光电容积脉搏图中学习生成逼真脉搏波形

    本文提出了一种新的基于生成对抗神经网络的框架，名为 PulseGAN，用于通过去噪染色信号产生逼真的远程光电容积脉搏测量 (rPPG) 脉搏信号，以提高健康监控和情感识别的准确性。该框架在公共 UBFC-RPPG 数据库中得到了验证，表明 PulseGAN 可以有效地提高波形质量，进而增强心率 (HR)、心率变异性 (HRV) 和心动间隔 (IBI) 的准确性，且显著优于其他方法。

    Jun, 2020

  • 基于方向条件的人脸纹理映射用于基于视频的人脸遥感光电容积测量

    利用三维面部表面构建一个新颖的基于方向条件的面部纹理视频表示，改善现有基于视频的面部远程光电测量的方法对动态和自由主体运动的鲁棒性。通过在 MMPD 上进行交叉数据集测试，我们的方法在纯净数据集上训练的 PhysNet 模型基线的性能上取得了显著的 18.2% 的改进，突显了我们设计的视频表示的有效性和普适性。在所有测试的动态情景中，即使存在动态和自由主体运动，我们的方法在 MMPD 上得到了高达 29.6% 的显著性能改进。验证了通过对三维面部表面的建模来解释运动的优势，我们通过消融实验验证了我们设计决策的有效性和不同视频处理步骤的影响。我们的发现展示了在视频中利用三维面部表面作为解决动态和自由主体运动的一般策略的潜在优势。该代码可在链接处获得。

    Apr, 2024