ECCVMay, 2018

DeepPhys: 使用卷积注意力网络进行基于视频的生理测量

PDF
TL;DR本文提出了一种使用深度卷积神经网络进行基于视频的非接触式心率和呼吸率测量的新方法，该系统采用一种基于皮肤反射模型的新动作表示和一种使用外观信息引导运动估计的新注意机制，从而实现在异质光照和主要运动下强大的测量，其空间 - 时域分布可通过注意机制进行可视化，能够显著优于所有当前最先进的 RGB 和红外视频数据集上的方法。
non-contact video-based physiological measurementheart ratebreathing ratedeep convolutional networkskin reflection model
发现论文，激发创造
  • 使用多摄像头标定的无监督基于视频的心率与呼吸率测量

    提出了一种基于多摄像头的自监督视频心率和呼吸率测量方法，通过对多个摄像头捕获的面部视频进行对比学习，预测同步视频的脉搏和呼吸波，并通过数据增强技术和预训练模型提高模型的鲁棒性，实验结果表明该方法优于现有的心率和呼吸率测量方法。

    Oct, 2023

  • 基于心率估计的 DeepFakes 检测

    本文介绍了一种基于生理测量的新型 DeepFake 检测框架，利用远程光电测量心率（rPPG）方法来分析视频序列中与人类皮肤微小颜色变化相关的信息，以便更好地检测制造的 DeepFake 视频。我们提出的 DeepFakesON-Phys 假检测器使用卷积注意网络（CAN）从视频帧中提取空间和时间信息，分析并结合两个来源以更好地检测假视频。探究结果表明，该检测方法在 Celeb-DF 和 DFDC 数据库上达到了 98% 以上的 AUC（曲线下的面积），超过了现有技术的水平，并证明了基于生理测量的假检测器成功检测了最新的 DeepFake 视频。

    Oct, 2020

  • EfficientPhys: 实现简单、快速和准确的基于相机的生命体征测量

    本文提出了两种新颖高效的神经模型 EfficientPhys，不需要进行任何的预处理，只需使用原始视频帧进行输入，无需进行人脸检测、分段、规范化、颜色空间变换等操作即可实现对基于摄像头的生理测量的高效计算，取得了三个公共数据集上的良好表现

    Oct, 2021

  • 生理信号深度学习的注意力机制：我们应该采用哪种注意力机制？

    本研究分析了四种注意力机制和三种 CNN 模型，针对心率预测中的分类和回归两个问题评估了多种组合，并验证了卷积操作和注意力机制的互补性以及提供更快的收敛时间，尽管单独的自注意模型需要更少的参数。

    Jul, 2022

  • 使用合成的基于视频的数据训练鲁棒的深度生理测量模型

    本文提出了在合成生理信号和相应的面部视频中添加真实世界噪声的几种方法，并在三个公开的真实世界数据集上评估了我们的框架，结果显示我们能够将平均 MAE 从 6.9 降低到 2.0。

    Nov, 2023

  • 利用视频转换器进行瞬时生理估计

    本文提出了一种基于视频 Transformer 的方法，从面部视频中估计瞬时心率和呼吸率，并在大规模 Vision-for-Vitals 基准测试中取得优异表现，尤其在瞬时呼吸率估计方面超越了基于浅层和深度学习的方法。

    Feb, 2022

  • 远程光电测量中深度学习的架构技巧

    该论文研究了卷积网络在评估彩色信号补丁的心率值方面的架构改进，通过添加卷积过滤层和组合损失函数来提高静止和混合运动情景下心率估计模型的性能。

    Nov, 2019

  • EVM-CNN：基于面部视频的实时非接触式心率估计

    研究表明，可以通过将空间分解和时间滤波与卷积神经网络相结合，从面部视频中遥测心率，且该方法在 HR 估计方面的表现明显优于标准测试集 MMSE-HR，并且与真实数据具有高一致性。

    Dec, 2022

  • 多任务时间移位注意力网络用于设备上的非接触式生命体征测量

    研究旨在提出一种基于视频的光学心肺重要生命体征测量方法，采用一种名为 MTTS-CAN 的多任务时间移位卷积注意网络，实现了移动平台上的实时心血管和呼吸测量，较其他方法减少了 20%-50% 的误差。

    Jun, 2020

  • 从颈部近红外视频估计颈动脉脉搏和呼吸率

    本研究提出了利用近红外视频成像技术，通过肉眼无法察觉的颈动脉脉冲和呼吸运动来测量 HR 和 BR 的低成本方法，并使用模板匹配、PCA 和 HMM 等技术实现数据平滑，结果表明该方法在暗光和明光下，能够实现比 FDA 认定设备更高精度的体征测量，这将推动非接触式生理测量技术在现实环境中的应用。

    May, 2018