无源领域自适应远程生理测量的研究

Sep, 2024

无源领域自适应远程生理测量的研究

SFDA-rPPG: Source-Free Domain Adaptive Remote Physiological Measurement with Spatio-Temporal Consistency

Yiping Xie, Zitong Yu, Bingjie Wu, Weicheng Xie, Linlin Shen

TL;DR本文针对传统远程光电容积图（rPPG）模型在未见领域的泛化能力差的问题，提出了首个无源领域自适应基准(SFDA-rPPG)。该方法通过采用三分支时空一致性网络（TSTC-Net）和基于频率域瓦瑟斯坦距离（FWD）的新型rPPG分布对齐损失，实现了在无源数据访问的情况下有效的领域自适应，实验结果表明该方法在无源领域自适应设置下的有效性。

Abstract

Remote Photoplethysmography (rPPG) is a non-contact method that uses facial video to predict changes in blood volume, enabling physiological metrics measurement. Traditional rPPG models often struggle with poor generalization capacity in unseen domains. Current solutions to this proble

发现论文，激发创造

对比-生理学：通过时空对比进行无监督基于视频的远程生理学测量

本文提出了一种无监督的远程光学脉搏测量方法，利用3D卷积神经网络模型以及对比损失训练模型，可以在不需要参照信号的情况下提高精度，并可以更快地运行且更耐噪音。

Aug, 2022

通过任意分辨率视频学习抗运动影响的遥测脉搏测量技术

本文提出了两种对非接触式心率估计中长度和面部运动造成的误差进行修正的方法，并且使用一个双流双分辨率框架来训练模型以学习稳健的面部信号特征，实验证明了所提出方法的优越性。

Nov, 2022

用于可广泛推广的远程生理测量的神经元结构建模

本文介绍了一种名为NEST的基于神经元结构建模的无领域标签方法，用于解决远程光电容积脉搏(rPPG)测量任务中的领域转移问题，并在多个数据集的测试中表现出优异的通用性能。

Mar, 2023

对比-生理＋：基于时空对比的无监督和弱监督视频远程生理测量

视频远程生理测量是利用面部视频测量血容量变化信号，也称为远程光电容抗(PRP)。本文提出了一种名为Contrast-Phys+的方法，可以在无监督和弱监督设置下进行训练。我们使用3D卷积神经网络模型来生成多个时空PRP信号，并将PRP的先验知识纳入对比损失函数中。我们进一步将GT信号纳入对比学习，以适应偏向性或错位标签。对比损失鼓励来自同一视频的PRP/GT信号进行分组，并将来自不同视频的信号分开。我们在包括RGB和近红外视频的五个公开数据集上评估我们的方法。即使在部分可用或错位的GT信号或没有标签的情况下，Contrast-Phys+也优于最先进的有监督方法。此外，我们还强调了我们的方法在计算效率、噪声鲁棒性和泛化性方面的优势。

Sep, 2023

通过显式和隐式先验知识的融合推动可泛化的远程生理测量

本文提出了一种利用远程光电容积图术（rPPG）任务中的显性和隐性先验知识的新框架，通过系统分析不同领域的噪声源，并将这些先验知识纳入网络进行训练，同时利用两个分支网络通过隐式标签相关性去除噪声并提取生理特征分布，我们的实验证明，该方法不仅在RGB跨数据集评估上胜过现有方法，而且能够很好地从RGB数据集泛化到NIR数据集。

Mar, 2024

基于相机的皮肤色调横跨数百个受试者的远程生理感应

本研究分析了目前为止最大的真实世界远程光电容抗数据集，涵盖了893名受试者和6种菲茨帕特里克皮肤色调，实验结果表明，包含数百名受试者的数据集足以进行有效的远程光电容抗模型训练，并强调了皮肤色调的多样性和一致性对于不同数据集的精确性能评估的重要性。

Apr, 2024

解决通用远程生理测量中的领域冲突

DOHA框架通过引入和融合相干相位策略和相干超平面优化, 解决了不同数据集之间的标签冲突和属性冲突, 提升了现有方法在多个协议下的性能表现。

Apr, 2024

使用深度学习远程光电容积脉搏模型相似性测量领域转变

通过模型相似性来衡量领域偏移的指标可用作领域偏移的度量，并且我们展示了这些指标与实际性能之间的高相关性。其中一项具有可行相关性的提议指标为DS-diff，不需要假设对目标领域的基本事实，即可应用于自然环境数据。因此，我们研究了一个模型选择问题，在该问题中，无法获得评估领域的基本事实结果，并且相对于平均情况基准线，性能提高了13.9%。

Apr, 2024

迈向运动稳健性: 一种遮蔽关注正规化框架在远程光电测量中的应用

提出了一种基于面部视频的遥感光频波测量的新方法，通过掩蔽关注机制和增强的rPPG专家聚合网络，解决了ROI定位和运动问题，并在现实世界的场景下表现出优势。

Jul, 2024

通过合成信号引导的特征学习进行完全测试时间的rPPG估计

提出了一种利用合成信号引导的光电容积脉搏图(rPPG)特征学习框架，通过设计一种基于频谱的熵最小化方法以及通过合成伪rPPG信号来指导条件生成器生成潜在的rPPG特征，从而适应性地估计不同心率分布的rPPG信号。实验证明，该方法在TTA-rPPG基准测试中取得了卓越的性能，并在大多数协议中优于以前的DG和DA方法。

Jul, 2024