Apr, 2024

RhythmMamba：快速远程生理测量与任意长度视频

PDF
TL;DR使用 Mamba 为基础的 RhythmMamba 方法，通过多时间尺度的 Mamba 约束周期模式与短期趋势，并结合频域前馈使得 Mamba 能够牢固理解 rPPG 的准周期模式。大量实验证明，RhythmMamba 在减少参数和降低计算复杂度的同时，实现了最先进的性能。该方法适用于任意长度的视频片段且性能不降。
remote photoplethysmographyrppgmambaperiodic patternscomputational complexity
发现论文，激发创造
  • 通过任意分辨率视频学习抗运动影响的遥测脉搏测量技术

    本文提出了两种对非接触式心率估计中长度和面部运动造成的误差进行修正的方法，并且使用一个双流双分辨率框架来训练模型以学习稳健的面部信号特征，实验证明了所提出方法的优越性。

    Nov, 2022

  • 使用时空网络从面部视频中远程测量光电容积脉搏信号

    通过使用深度时空网络重建精确的远程光学心电图信号，我们提出了一种 rPPG 测量方法，能够从面部视频中测量心率和心率变异性，并在心房颤动检测和情感识别方面取得了有前途的成果。

    May, 2019

  • PulseGAN: 远程光电容积脉搏图中学习生成逼真脉搏波形

    本文提出了一种新的基于生成对抗神经网络的框架，名为 PulseGAN，用于通过去噪染色信号产生逼真的远程光电容积脉搏测量 (rPPG) 脉搏信号，以提高健康监控和情感识别的准确性。该框架在公共 UBFC-RPPG 数据库中得到了验证，表明 PulseGAN 可以有效地提高波形质量，进而增强心率 (HR)、心率变异性 (HRV) 和心动间隔 (IBI) 的准确性，且显著优于其他方法。

    Jun, 2020

  • 基于端到端深度学习和视频增强的高度压缩面部视频心率远程测量

    本文提出了一个两阶段的端到端 RPPG 信号恢复方法，该方法包括视频增强和 RPPG 信号恢复两个阶段。实验结果表明，该方法在压缩视频上表现出色，并且具有很好的泛化能力。

    Jul, 2019

  • RhythmFormer：基于分层时域周期转换器提取 rPPG 信号

    RhythmFormer 是一种基于 Transformer 的全端对端方法，通过明确利用 rPPG 的准周期性特性来提取 rPPG 信号。在多个时间尺度上，层次化时间周期性 Transformer 核心模块从中提取周期性特征，利用时间域的动态稀疏注意力来对 rPPG 特征进行精细建模。此外，还提出了融合模块以有效地指导自注意力到 rPPG 特征，能够轻松地转移到现有方法以显著提升它们的性能。与之前的方法相比，在综合实验中，RhythmFormer 表现出更少的参数和降低的计算复杂度，达到了最先进的性能。

    Feb, 2024

  • 面部视频隐私保护型心率远程估计

    本文提出了一种数据扰动的方法，通过提取少量含有身份相关信息的面部区域进行像素洗牌和模糊处理来解决 Remote Photoplethysmography 数据的隐私问题，实验表明该方法可将面部识别算法的准确性降低 60%，而对 rPPG 提取几乎不产生影响，可作为一种有效的隐私保护方案。

    Jun, 2023

  • 通过显式和隐式先验知识的融合推动可泛化的远程生理测量

    本文提出了一种利用远程光电容积图术（rPPG）任务中的显性和隐性先验知识的新框架，通过系统分析不同领域的噪声源，并将这些先验知识纳入网络进行训练，同时利用两个分支网络通过隐式标签相关性去除噪声并提取生理特征分布，我们的实验证明，该方法不仅在 RGB 跨数据集评估上胜过现有方法，而且能够很好地从 RGB 数据集泛化到 NIR 数据集。

    Mar, 2024

  • 基于相机的皮肤色调横跨数百个受试者的远程生理感应

    本研究分析了目前为止最大的真实世界远程光电容抗数据集，涵盖了 893 名受试者和 6 种菲茨帕特里克皮肤色调，实验结果表明，包含数百名受试者的数据集足以进行有效的远程光电容抗模型训练，并强调了皮肤色调的多样性和一致性对于不同数据集的精确性能评估的重要性。

    Apr, 2024

  • 在跨数据集远程光电容积脉搏图方面提升泛化能力

    研究表明，当前基于深度学习的 Remote Photoplethysmography (rPPG) 模型倾向于学习训练数据集中的脉搏波特征，作者提出的一种扩充训练数据集范围和变化性的方法成功缓解了这种倾向，进一步提高了模型的泛化能力。

    May, 2023

  • 通过对比学习走近我的心：从未标记视频中进行远程光电容积图

    本文介绍了一种远程面部信号分析的新方法，应用了神经网络和自监督训练进行无监督学习，利用对感兴趣信号的弱先验建模，并成功在四个数据集上进行测试，证明了该方法的可行性和效果。

    Nov, 2021