遥测生理测量的自监督掩蔽自编码器预训练

Jun, 2023

遥测生理测量的自监督掩蔽自编码器预训练

rPPG-MAE: Self-supervised Pre-training with Masked Autoencoders for Remote Physiological Measurement

Xin Liu, Yuting Zhang, Zitong Yu, Hao Lu, Huanjing Yue...

TL;DR本文提出了一种针对远程光电容积图 (rPPG) 的自监督学习方法，以提取生理信号中固有的自我相似性先验，并探索了一种特定的抗干扰策略以减少动作和光照的干扰，实现了较好的性能。

Abstract

remote photoplethysmography (rPPG) is an important technique for perceiving human vital signs, which has received extensive attention. For a long time, researchers have focused on supervised methods that rely on large amounts of labeled data. These methods are limited by the requiremen

remote photoplethysmography self-supervised methods physiological signals contrastive learning rppg-mae

发现论文，激发创造

无监督远程生理测量的自相似先验蒸馏

我们提出了一种基于自相似性先验蒸馏 (SSPD) 框架的无监督远程光电容积描记术 (rPPG) 估计方法，通过利用心脏活动的内在自相似性，采用物理先验嵌入增强技术抑制噪音，利用自相似性感知网络提取更可靠的自相似生理特征，以及开发分层自蒸馏范式来帮助网络从面部视频中解开自相似的生理模式。全面的实验证明，无监督的 SSPD 框架在性能上相当或甚至优于最先进的有监督方法，同时 SSPD 在端到端模型中保持最低的推断时间和计算成本。

Nov, 2023

对比 - 生理学：通过时空对比进行无监督基于视频的远程生理学测量

本文提出了一种无监督的远程光学脉搏测量方法，利用 3D 卷积神经网络模型以及对比损失训练模型，可以在不需要参照信号的情况下提高精度，并可以更快地运行且更耐噪音。

Aug, 2022

通过对比学习走近我的心：从未标记视频中进行远程光电容积图

本文介绍了一种远程面部信号分析的新方法，应用了神经网络和自监督训练进行无监督学习，利用对感兴趣信号的弱先验建模，并成功在四个数据集上进行测试，证明了该方法的可行性和效果。

Nov, 2021

通过显式和隐式先验知识的融合推动可泛化的远程生理测量

本文提出了一种利用远程光电容积图术（rPPG）任务中的显性和隐性先验知识的新框架，通过系统分析不同领域的噪声源，并将这些先验知识纳入网络进行训练，同时利用两个分支网络通过隐式标签相关性去除噪声并提取生理特征分布，我们的实验证明，该方法不仅在 RGB 跨数据集评估上胜过现有方法，而且能够很好地从 RGB 数据集泛化到 NIR 数据集。

Mar, 2024

PhySU-Net：自监督预训练的长时空上下文 rPPG 转换器

利用远程光电容积法（rPPG）技术，通过面部视频无接触地测量心脏活动，采用长时空图 rPPG 变换网络 PhySU-Net 并自监督预训练策略，利用无标记数据提高模型性能。

Feb, 2024

智能环境中的远程心率监测与自监督预训练

利用自监督对比学习方法来估计远程光电容积描记法和心率监测，减少对标记数据的依赖并提高性能。

Oct, 2023

PhysMLE: 通用且包含先验知识的多任务远程生理测量

通过多个低秩专家的混合模型和新型路由机制，设计了一种适应于多任务远程生理测量的模型（PhysMLE），并引入了生理学中的先验知识以克服实际多任务生理测量中标签空间不平衡的问题。运用提出的多源语序域泛化（MSSDG）协议进行了充分的实验和评估，证明了 PhysMLE 的有效性和效率。

May, 2024

对比 - 生理＋：基于时空对比的无监督和弱监督视频远程生理测量

视频远程生理测量是利用面部视频测量血容量变化信号，也称为远程光电容抗 (PRP)。本文提出了一种名为 Contrast-Phys + 的方法，可以在无监督和弱监督设置下进行训练。我们使用 3D 卷积神经网络模型来生成多个时空 PRP 信号，并将 PRP 的先验知识纳入对比损失函数中。我们进一步将 GT 信号纳入对比学习，以适应偏向性或错位标签。对比损失鼓励来自同一视频的 PRP/GT 信号进行分组，并将来自不同视频的信号分开。我们在包括 RGB 和近红外视频的五个公开数据集上评估我们的方法。即使在部分可用或错位的 GT 信号或没有标签的情况下，Contrast-Phys + 也优于最先进的有监督方法。此外，我们还强调了我们的方法在计算效率、噪声鲁棒性和泛化性方面的优势。

Sep, 2023

视频中生理信号的非对比非监督学习

应用无监督深度学习方法，可以从非标记视频中准确提取血容量脉动等生理周期信号，进而实现远程监控和多种生理测量，无需地面真实信号。

Mar, 2023

PulseGAN: 远程光电容积脉搏图中学习生成逼真脉搏波形

本文提出了一种新的基于生成对抗神经网络的框架，名为 PulseGAN，用于通过去噪染色信号产生逼真的远程光电容积脉搏测量 (rPPG) 脉搏信号，以提高健康监控和情感识别的准确性。该框架在公共 UBFC-RPPG 数据库中得到了验证，表明 PulseGAN 可以有效地提高波形质量，进而增强心率 (HR)、心率变异性 (HRV) 和心动间隔 (IBI) 的准确性，且显著优于其他方法。

Jun, 2020