ECCVApr, 2018

基于学习的视频运动放大

PDF
TL;DR本文提供了一种使用深度卷积神经网络从示例中直接学习滤波器并通过合成数据集进行训练的方法来提高视频运动放大技术的质量，这些方法可以在真实视频上获得高质量的结果，并且利用时间滤波器可用于中度放大，同时分析了所学得的滤波器与以前的方法中使用的导数滤波器的相似之处。
video motion magnificationdeep convolutional neural networkssynthetic datasetlearned filterstemporal filters
发现论文，激发创造
  • 再探基于学习的视频运动放大实时处理

    实时视频运动放大技术的关键发现是减少潜在运动表征的空间分辨率和使用单一线性层和单一分支来实现运动放大任务。基于这些发现，我们介绍了一个实时的深度学习基于模型，比之前的方法具有更高的计算效率和速度，同时保持了相当的质量。

    Mar, 2024

  • STB-VMM：基于 Swin Transformer 的视频动态放大

    本研究提出了一种基于 Swine Transformer 的视频运动放大技术的新模型，具有更好的对噪声输入的容忍性和输出高品质荧光的能力，可用于在任何依赖放大视频序列的应用程序中实现更精确的测量，为视频运动放大技术在新技术领域的进一步发展打下基础。

    Feb, 2023

  • 基于事件的运动放大

    提出了一种由事件相机和传统 RGB 相机组成的双摄像头系统，结合了事件流的时间密集信息和 RGB 图像的空间密集数据，以实现对高频运动的广泛和经济有效的放大，通过深度网络解决了高频运动和微小运动放大的问题。

    Feb, 2024

  • 视频加速放大

    该论文提出了一种基于欧拉方法的运动放大方法，可在不需要光流、时间对准或区域注释的情况下，对视频图像进行运动和颜色的放大处理。

    Apr, 2017

  • 基于学习的轴向运动放大

    改进了通过提出一种名为轴向动作放大的新概念来提高视频动作放大的可读性，该方法可以放大沿用户指定方向的分解动作，并通过 Motion Separation 模块进行学习，以实现对特定轴的运动的放大和简化，从而提供更容易阅读的动作信息，并可应用于多种应用中具有特定运动轴的关键性运动。

    Dec, 2023

  • 深度视频去模糊

    本文提出一种基于深度学习的视频去模糊算法，利用卷积神经网络从相邻帧中积累信息，可处理各类由于相机抖动导致的运动模糊问题。

    Nov, 2016

  • 学习盲目运动去模糊

    本文介绍了一种使用神经网络的实时视频去模糊技术，将多个连续模糊的图像传递信息给递归神经网络来还原所需的清晰图像或视频。

    Aug, 2017

  • DeepMag：使用梯度上升实现特定源运动放大

    DeepMag 是一种基于梯度上升的端到端深度神经网络视频处理框架，能够自动放大特定来源的微妙的颜色和运动信号，即使存在各种速度的大运动干扰。通过定量和定性评估该方法在不同头部运动水平的视频上的表现，我们将脉搏和呼吸的放大与现有的最先进方法进行了比较，发现我们的方法产生的放大视频具有更少的伪影和模糊，同时放大生理变化的程度类似。

    Aug, 2018

  • 光流反向传播的自监督运动放大

    本文介绍了一种简单的自监督方法，用于放大视频中微小的运动：给定输入视频和放大因子，我们通过操作视频，使其新的光流按所需比例缩放。我们提出了一个损失函数来训练我们的模型，该函数估计生成视频的光流并惩罚其与给定放大因子的偏差程度。因此，训练涉及对预训练光流网络进行微分。由于我们的模型是自监督的，我们可以通过测试时间调整进一步提高其性能，通过在输入视频上进行微调。我们的方法还可以轻松扩展为仅放大用户选择的对象的运动。我们的方法避免了需要使用合成放大数据集来训练以前基于学习的方法的需求。相反，它利用现成的现有运动估计器的功能。我们通过对一系列现实世界和合成视频的视觉质量和定量度量进行评估，以及展示我们的方法在监督和无监督光流方法中的有效性。

    Nov, 2023

  • EulerMormer：基于 Transformer 的稳健欧拉运动增强算法

    论文提出了一种新颖的动态滤波策略来实现静动态场自适应降噪，并介绍了一种消除噪声同时保留重要信息的全局动态稀疏交叉协方差注意力机制，以及一种选择性调节不同频率特征依赖性以减少空间衰减和补充运动边界的多尺度双路径门控机制。实验证明，EulerMormer 从 Eulerian 的角度实现了更强大的视频运动放大，明显优于现有方法。

    Dec, 2023