Sep, 2023
对比 - 生理＋：基于时空对比的无监督和弱监督视频远程生理测量
Contrast-Phys+: Unsupervised and Weakly-supervised Video-based Remote Physiological Measurement via Spatiotemporal Contrast
Zhaodong Sun, Xiaobai Li
TL;DR视频远程生理测量是利用面部视频测量血容量变化信号，也称为远程光电容抗 (PRP)。本文提出了一种名为 Contrast-Phys + 的方法，可以在无监督和弱监督设置下进行训练。我们使用 3D 卷积神经网络模型来生成多个时空 PRP 信号，并将 PRP 的先验知识纳入对比损失函数中。我们进一步将 GT 信号纳入对比学习，以适应偏向性或错位标签。对比损失鼓励来自同一视频的 PRP/GT 信号进行分组，并将来自不同视频的信号分开。我们在包括 RGB 和近红外视频的五个公开数据集上评估我们的方法。即使在部分可用或错位的 GT 信号或没有标签的情况下，Contrast-Phys + 也优于最先进的有监督方法。此外，我们还强调了我们的方法在计算效率、噪声鲁棒性和泛化性方面的优势。