Dec, 2023

EulerMormer：基于 Transformer 的稳健欧拉运动增强算法

PDF
TL;DR论文提出了一种新颖的动态滤波策略来实现静动态场自适应降噪，并介绍了一种消除噪声同时保留重要信息的全局动态稀疏交叉协方差注意力机制，以及一种选择性调节不同频率特征依赖性以减少空间衰减和补充运动边界的多尺度双路径门控机制。实验证明，EulerMormer 从 Eulerian 的角度实现了更强大的视频运动放大，明显优于现有方法。
video motion magnificationhuman visual perceptionmacroscopic domaindynamic filteringeulermormer
发现论文，激发创造
  • 通过多级同构架构进行运动增强的频率解耦

    频率解耦运动放大的多水平同构架构，稀疏高 / 低通滤波器和对比正则化的创新设计，使得该模型在减少不必要的运动放大和提高细节完整性方面表现出色。

    Mar, 2024

  • STB-VMM：基于 Swin Transformer 的视频动态放大

    本研究提出了一种基于 Swine Transformer 的视频运动放大技术的新模型，具有更好的对噪声输入的容忍性和输出高品质荧光的能力，可用于在任何依赖放大视频序列的应用程序中实现更精确的测量，为视频运动放大技术在新技术领域的进一步发展打下基础。

    Feb, 2023

  • 3D 运动增强：利用时间变化辐射场可视化微小运动

    运用 Euler 原理提取和放大固定点随时间嵌入变化的 3D 运动放大方法，支持运动相机拍摄场景的变化、创新视角渲染。通过时间变化的辐射场来表示场景，并在隐含和三平面辐射场作为三维场景表示中验证所提出的 3D 运动放大原理的有效性。在各种摄像机设置下，我们评估了所提出方法在合成和真实世界场景中的有效性。

    Aug, 2023

  • 视频加速放大

    该论文提出了一种基于欧拉方法的运动放大方法，可在不需要光流、时间对准或区域注释的情况下，对视频图像进行运动和颜色的放大处理。

    Apr, 2017

  • 基于学习的视频运动放大

    本文提供了一种使用深度卷积神经网络从示例中直接学习滤波器并通过合成数据集进行训练的方法来提高视频运动放大技术的质量，这些方法可以在真实视频上获得高质量的结果，并且利用时间滤波器可用于中度放大，同时分析了所学得的滤波器与以前的方法中使用的导数滤波器的相似之处。

    Apr, 2018

  • 基于事件的运动放大

    提出了一种由事件相机和传统 RGB 相机组成的双摄像头系统，结合了事件流的时间密集信息和 RGB 图像的空间密集数据，以实现对高频运动的广泛和经济有效的放大，通过深度网络解决了高频运动和微小运动放大的问题。

    Feb, 2024

  • 再探基于学习的视频运动放大实时处理

    实时视频运动放大技术的关键发现是减少潜在运动表征的空间分辨率和使用单一线性层和单一分支来实现运动放大任务。基于这些发现，我们介绍了一个实时的深度学习基于模型，比之前的方法具有更高的计算效率和速度，同时保持了相当的质量。

    Mar, 2024

  • 使用欧拉运动场为图片添加动画

    本文介绍了一种全自动方法来将一张静态图像转换为具有连续流体运动的逼真动画循环视频。该方法依赖于单变量特征场的欧拉运动描述，并使用图像到图像的翻译网络来编码自然场景的运动先验，并通过深度扭曲技术，使用产生的运动来动画化图像，从而实现连续流畅的循环视频纹理。

    Nov, 2020

  • 运动大小引导下的高效视频去模糊

    提出了一种基于运动大小先验的深度学习视频去模糊技术，通过检测每一帧的像素级模糊程度，结合清晰帧区域的信息，生成像素运动大小先验，进而利用时空信息进行去模糊处理，实验结果表明该方法的有效性。

    Jul, 2022

  • 基于相位的运动放大和光流的隧道变形监测

    通过结合位相移动放大技术和光流法，本研究定量化地测量了地下隧道场景中被放大的变形模式像素位移。利用 2D Wiener 滤波器平滑高频内容以减少运动放大产生的错误量化，并采用 GPU 加速的稠密光流算法计算整个场景的运动。通过验证实验与预安装在隧道中的棱柱的实际运动进行对比分析。

    Jun, 2023