Feb, 2024

RhythmFormer：基于分层时域周期转换器提取 rPPG 信号

PDF
TL;DRRhythmFormer 是一种基于 Transformer 的全端对端方法，通过明确利用 rPPG 的准周期性特性来提取 rPPG 信号。在多个时间尺度上，层次化时间周期性 Transformer 核心模块从中提取周期性特征，利用时间域的动态稀疏注意力来对 rPPG 特征进行精细建模。此外，还提出了融合模块以有效地指导自注意力到 rPPG 特征，能够轻松地转移到现有方法以显著提升它们的性能。与之前的方法相比，在综合实验中，RhythmFormer 表现出更少的参数和降低的计算复杂度，达到了最先进的性能。
remote photoplethysmographyrppgtransformerperiodicityrhythmformer
发现论文，激发创造
  • PhysFormer: 基于面部视频的生理测量与时间差分换器

    本文提出了一种基于 transformer 的架构 PhysFormer，该架构可以增强远程光电容积描记术（rPPG）的表示，通过进行标签分布学习和课程学习来提供精细的监督，并针对四个基准数据集进行了全面实验，证明了它的优越性能。

    Nov, 2021

  • RhythmMamba：快速远程生理测量与任意长度视频

    使用 Mamba 为基础的 RhythmMamba 方法，通过多时间尺度的 Mamba 约束周期模式与短期趋势，并结合频域前馈使得 Mamba 能够牢固理解 rPPG 的准周期模式。大量实验证明，RhythmMamba 在减少参数和降低计算复杂度的同时，实现了最先进的性能。该方法适用于任意长度的视频片段且性能不降。

    Apr, 2024

  • PulseGAN: 远程光电容积脉搏图中学习生成逼真脉搏波形

    本文提出了一种新的基于生成对抗神经网络的框架，名为 PulseGAN，用于通过去噪染色信号产生逼真的远程光电容积脉搏测量 (rPPG) 脉搏信号，以提高健康监控和情感识别的准确性。该框架在公共 UBFC-RPPG 数据库中得到了验证，表明 PulseGAN 可以有效地提高波形质量，进而增强心率 (HR)、心率变异性 (HRV) 和心动间隔 (IBI) 的准确性，且显著优于其他方法。

    Jun, 2020

  • 通过任意分辨率视频学习抗运动影响的遥测脉搏测量技术

    本文提出了两种对非接触式心率估计中长度和面部运动造成的误差进行修正的方法，并且使用一个双流双分辨率框架来训练模型以学习稳健的面部信号特征，实验证明了所提出方法的优越性。

    Nov, 2022

  • SiNC+: 自适应基于相机的生命体征测量及周期信号无监督学习

    提出了一种新的非对抗无监督学习框架，用于从未标记的视频数据中直接提取血容量脉搏，以实现低成本的非接触健康监测，并展示了该框架在调整模型和个性化适应信号回归方面的效果。

    Apr, 2024

  • 基于摄像头的并行脉冲驱动变压器远程光电容识别

    本文提出了一种基于脉冲神经网络的混合神经网络模型 Spiking-PhyFormer，该模型在保持性能的同时，相较于 PhysFormer 和其他基于 ANN 的模型降低了 12.4% 的功耗，并将变压器块的功耗降低了 12.2 倍。

    Feb, 2024

  • PhySU-Net：自监督预训练的长时空上下文 rPPG 转换器

    利用远程光电容积法（rPPG）技术，通过面部视频无接触地测量心脏活动，采用长时空图 rPPG 变换网络 PhySU-Net 并自监督预训练策略，利用无标记数据提高模型性能。

    Feb, 2024

  • 使用时空网络从面部视频中远程测量光电容积脉搏信号

    通过使用深度时空网络重建精确的远程光学心电图信号，我们提出了一种 rPPG 测量方法，能够从面部视频中测量心率和心率变异性，并在心房颤动检测和情感识别方面取得了有前途的成果。

    May, 2019

  • 视频中生理信号的非对比非监督学习

    应用无监督深度学习方法，可以从非标记视频中准确提取血容量脉动等生理周期信号，进而实现远程监控和多种生理测量，无需地面真实信号。

    Mar, 2023

  • TransfoRhythm：一种通过独立 PPG 信号捕获有利于血压估计的变压器架构

    本研究介绍了 TransfoRhythm 框架，这是一个基于 Transformer 的深度神经网络架构，利用单独的光电脉搏信号进行无袖式血压估计，在 MIMIC-IV 数据集上训练得到的 TransfoRhythm 模型在血压预测上表现出色。

    Apr, 2024