AAAIJul, 2021

自监督表征学习框架在远程生理测量中利用时空增强损失

PDF
TL;DR本文提出了一种基于自监督的时空学习框架，用于表示从面部视频中收集的生理信号，通过应用特定的数据增强模型以及约束时空损失，可以取得比其他自监督方法更好的结果，并且与最先进的有监督方法具有相当的精度。
self-superviseddeep learningphysiological signalsremote measurementcontrastive learning
发现论文，激发创造
  • 对比 - 生理＋：基于时空对比的无监督和弱监督视频远程生理测量

    视频远程生理测量是利用面部视频测量血容量变化信号，也称为远程光电容抗 (PRP)。本文提出了一种名为 Contrast-Phys + 的方法，可以在无监督和弱监督设置下进行训练。我们使用 3D 卷积神经网络模型来生成多个时空 PRP 信号，并将 PRP 的先验知识纳入对比损失函数中。我们进一步将 GT 信号纳入对比学习，以适应偏向性或错位标签。对比损失鼓励来自同一视频的 PRP/GT 信号进行分组，并将来自不同视频的信号分开。我们在包括 RGB 和近红外视频的五个公开数据集上评估我们的方法。即使在部分可用或错位的 GT 信号或没有标签的情况下，Contrast-Phys + 也优于最先进的有监督方法。此外，我们还强调了我们的方法在计算效率、噪声鲁棒性和泛化性方面的优势。

    Sep, 2023

  • 联合时空建模和对比学习的自监督心率测量

    我们的研究论文介绍了关于自监督心率测量的解决方案，其中我们提出了基于空间 - 时间建模和对比学习的自监督心率估计算法，并通过组合策略获得更准确的心率估计，最终在挑战赛中获得第二名。

    Jun, 2024

  • 对比 - 生理学：通过时空对比进行无监督基于视频的远程生理学测量

    本文提出了一种无监督的远程光学脉搏测量方法，利用 3D 卷积神经网络模型以及对比损失训练模型，可以在不需要参照信号的情况下提高精度，并可以更快地运行且更耐噪音。

    Aug, 2022

  • 智能环境中的远程心率监测与自监督预训练

    利用自监督对比学习方法来估计远程光电容积描记法和心率监测，减少对标记数据的依赖并提高性能。

    Oct, 2023

  • 通过对比学习走近我的心：从未标记视频中进行远程光电容积图

    本文介绍了一种远程面部信号分析的新方法，应用了神经网络和自监督训练进行无监督学习，利用对感兴趣信号的弱先验建模，并成功在四个数据集上进行测试，证明了该方法的可行性和效果。

    Nov, 2021

  • 混合对比学习：时序的自监督表示学习

    提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。

    Mar, 2022

  • TS-MoCo: 基于 Momentum Contrast 的时序动量对自监督生理学表示学习

    本文提出了一种新的编码框架，它依赖于自监督学习来学习各种生理领域的多元时间序列的表示，从而解决有限可用性的标记生理数据通常防止在生物医学机器智能领域使用强大的监督深度学习模型的问题，并得出新方法可以学会区分特征被用于下游分类任务。

    Jun, 2023

  • 时序自监督的音视频对比学习

    本文提出了一种自我监督学习方法，用于学习视频的表示，结合了 RGB 帧和相关的音频，通过多模式对比目标来扩展时间自我监督的音频 - 视觉设置，并提出了新的对比目标。

    Feb, 2023

  • 时空对比视频表征学习

    本文引入了一种基于对比损失的自监督对比视频表示学习方法，利用在嵌入空间中相同短视频的两个增强剪辑进行学习，同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识，在 Kinetics-600 数据集上，该方法可以超过 ImageNet 和 SimCLR 的性能，达到 70.4% 的 top-1 准确率

    Aug, 2020

  • 视频对应的时空自监督学习

    本文提出了一种空间 - 时间自我监督学习方法，通过对无标注图像的对比学习来提取空间特征，并通过重构学习利用无标注视频中的时间线索增强特征，以在视频分析任务上取得比现有自我监督方法更好的表现，并进行了削减研究以验证两步设计以及蒸馏损失的有效性。

    Sep, 2022