Nov, 2021

通过对比学习走近我的心：从未标记视频中进行远程光电容积图

PDF
TL;DR本文介绍了一种远程面部信号分析的新方法，应用了神经网络和自监督训练进行无监督学习，利用对感兴趣信号的弱先验建模，并成功在四个数据集上进行测试，证明了该方法的可行性和效果。
remote photoplethysmographyneural networksself-supervised learningcontrastive learningsaliency resampling
发现论文，激发创造
  • 对比 - 生理学：通过时空对比进行无监督基于视频的远程生理学测量

    本文提出了一种无监督的远程光学脉搏测量方法，利用 3D 卷积神经网络模型以及对比损失训练模型，可以在不需要参照信号的情况下提高精度，并可以更快地运行且更耐噪音。

    Aug, 2022

  • 视频中生理信号的非对比非监督学习

    应用无监督深度学习方法，可以从非标记视频中准确提取血容量脉动等生理周期信号，进而实现远程监控和多种生理测量，无需地面真实信号。

    Mar, 2023

  • 对比 - 生理＋：基于时空对比的无监督和弱监督视频远程生理测量

    视频远程生理测量是利用面部视频测量血容量变化信号，也称为远程光电容抗 (PRP)。本文提出了一种名为 Contrast-Phys + 的方法，可以在无监督和弱监督设置下进行训练。我们使用 3D 卷积神经网络模型来生成多个时空 PRP 信号，并将 PRP 的先验知识纳入对比损失函数中。我们进一步将 GT 信号纳入对比学习，以适应偏向性或错位标签。对比损失鼓励来自同一视频的 PRP/GT 信号进行分组，并将来自不同视频的信号分开。我们在包括 RGB 和近红外视频的五个公开数据集上评估我们的方法。即使在部分可用或错位的 GT 信号或没有标签的情况下，Contrast-Phys + 也优于最先进的有监督方法。此外，我们还强调了我们的方法在计算效率、噪声鲁棒性和泛化性方面的优势。

    Sep, 2023

  • 智能环境中的远程心率监测与自监督预训练

    利用自监督对比学习方法来估计远程光电容积描记法和心率监测，减少对标记数据的依赖并提高性能。

    Oct, 2023

  • 用不同身体部位的视频和目标进行训练的 rPPG 模型有多次优？

    远程摄像测量血容量脉搏通过光容积脉搏图（rPPG）是一种可伸缩、低成本、易于获取心血管信息的引人注目的技术。我们使用最新发布的同步接触式 PPG 和面部视频测量的独特数据集，对训练面部视频 rPPG 模型时是否使用来自身体其他部位的接触式测量数据进行优化进行了精确和定量的研究，结果显示，使用额头 PPG 信号相较于手指 PPG 信号，可以获得高达 40% 的均方误差降低，模型更好地学习了地面真实 PPG 信号的形态。然而，从手指 PPG 训练的模型仍然能很好地学习到主导频率（即心率）的特征。

    Mar, 2024

  • 在跨数据集远程光电容积脉搏图方面提升泛化能力

    研究表明，当前基于深度学习的 Remote Photoplethysmography (rPPG) 模型倾向于学习训练数据集中的脉搏波特征，作者提出的一种扩充训练数据集范围和变化性的方法成功缓解了这种倾向，进一步提高了模型的泛化能力。

    May, 2023

  • SiNC+: 自适应基于相机的生命体征测量及周期信号无监督学习

    提出了一种新的非对抗无监督学习框架，用于从未标记的视频数据中直接提取血容量脉搏，以实现低成本的非接触健康监测，并展示了该框架在调整模型和个性化适应信号回归方面的效果。

    Apr, 2024

  • 通过显式和隐式先验知识的融合推动可泛化的远程生理测量

    本文提出了一种利用远程光电容积图术（rPPG）任务中的显性和隐性先验知识的新框架，通过系统分析不同领域的噪声源，并将这些先验知识纳入网络进行训练，同时利用两个分支网络通过隐式标签相关性去除噪声并提取生理特征分布，我们的实验证明，该方法不仅在 RGB 跨数据集评估上胜过现有方法，而且能够很好地从 RGB 数据集泛化到 NIR 数据集。

    Mar, 2024

  • 面部视频隐私保护型心率远程估计

    本文提出了一种数据扰动的方法，通过提取少量含有身份相关信息的面部区域进行像素洗牌和模糊处理来解决 Remote Photoplethysmography 数据的隐私问题，实验表明该方法可将面部识别算法的准确性降低 60%，而对 rPPG 提取几乎不产生影响，可作为一种有效的隐私保护方案。

    Jun, 2023

  • 基于端到端深度学习和视频增强的高度压缩面部视频心率远程测量

    本文提出了一个两阶段的端到端 RPPG 信号恢复方法，该方法包括视频增强和 RPPG 信号恢复两个阶段。实验结果表明，该方法在压缩视频上表现出色，并且具有很好的泛化能力。

    Jul, 2019