Sep, 2024

PhysMamba：高效的远程生理测量与SlowFast时间差分Mamba

HTML
PDF
TL;DR本研究针对现有远程光容积测量方法在捕捉长时间序列中的局限性，提出了一种基于Mamba的PhysMamba框架，以高效表示面部视频中的长距离生理依赖关系。研究发现，结合时间差分Mamba块和双流SlowFast架构显著提高了对生理信号的捕捉和分析效率，展示了其在多种应用中的潜力。
发现论文，激发创造
  • 使用时空网络从面部视频中远程测量光电容积脉搏信号

    通过使用深度时空网络重建精确的远程光学心电图信号，我们提出了一种rPPG测量方法，能够从面部视频中测量心率和心率变异性，并在心房颤动检测和情感识别方面取得了有前途的成果。

    May, 2019

  • 基于端到端深度学习和视频增强的高度压缩面部视频心率远程测量

    本文提出了一个两阶段的端到端RPPG信号恢复方法，该方法包括视频增强和RPPG信号恢复两个阶段。实验结果表明，该方法在压缩视频上表现出色，并且具有很好的泛化能力。

    Jul, 2019

  • AutoHR: 远程心率测量的强端到端基准线与神经搜索

    本文使用神经架构搜索技术，提出一种基于 AutoHR 的强有力的远程心率测量终端到终端方法，通过实验在三个基准数据集上表明了在信息丰富的 rPPG-scenarios 中的效果。

    Apr, 2020

  • PhysFormer: 基于面部视频的生理测量与时间差分换器

    本文提出了一种基于transformer的架构PhysFormer，该架构可以增强远程光电容积描记术（rPPG）的表示，通过进行标签分布学习和课程学习来提供精细的监督，并针对四个基准数据集进行了全面实验，证明了它的优越性能。

    Nov, 2021

  • 对比-生理学：通过时空对比进行无监督基于视频的远程生理学测量

    本文提出了一种无监督的远程光学脉搏测量方法，利用3D卷积神经网络模型以及对比损失训练模型，可以在不需要参照信号的情况下提高精度，并可以更快地运行且更耐噪音。

    Aug, 2022

  • 基于面部视频的远程光电容数据测量的双路径TokenLearner

    使用基于学习Token的双路径TokenLearner（Dual-TL）的原生Transformer框架，综合利用面部视频的空间和时间信息，实现高准确度的远程光电体积脉搏测量。

    Aug, 2023

  • 对比-生理＋：基于时空对比的无监督和弱监督视频远程生理测量

    视频远程生理测量是利用面部视频测量血容量变化信号，也称为远程光电容抗(PRP)。本文提出了一种名为Contrast-Phys+的方法，可以在无监督和弱监督设置下进行训练。我们使用3D卷积神经网络模型来生成多个时空PRP信号，并将PRP的先验知识纳入对比损失函数中。我们进一步将GT信号纳入对比学习，以适应偏向性或错位标签。对比损失鼓励来自同一视频的PRP/GT信号进行分组，并将来自不同视频的信号分开。我们在包括RGB和近红外视频的五个公开数据集上评估我们的方法。即使在部分可用或错位的GT信号或没有标签的情况下，Contrast-Phys+也优于最先进的有监督方法。此外，我们还强调了我们的方法在计算效率、噪声鲁棒性和泛化性方面的优势。

    Sep, 2023

  • PhySU-Net：自监督预训练的长时空上下文rPPG转换器

    利用远程光电容积法（rPPG）技术，通过面部视频无接触地测量心脏活动，采用长时空图rPPG变换网络PhySU-Net并自监督预训练策略，利用无标记数据提高模型性能。

    Feb, 2024

  • RhythmMamba：快速远程生理测量与任意长度视频

    使用Mamba为基础的RhythmMamba方法，通过多时间尺度的Mamba约束周期模式与短期趋势，并结合频域前馈使得Mamba能够牢固理解rPPG的准周期模式。大量实验证明，RhythmMamba在减少参数和降低计算复杂度的同时，实现了最先进的性能。该方法适用于任意长度的视频片段且性能不降。

    Apr, 2024

  • PhysMamba：利用双流交叉注意力 SSD 进行远程生理测量

    本研究针对远程光电容积图（rPPG）技术在复杂环境中性能下降的问题，提出了PhysMamba，一个基于Mamba的双流时频交互模型。通过引入交叉注意力状态空间双重性模块（CASSD），PhysMamba在噪声条件下增强信息交换和特征互补性，实验结果表明其在多种场景下表现出色，具有在实际远程心率监测应用中的潜在影响。

    Aug, 2024