Feb, 2023

STB-VMM：基于 Swin Transformer 的视频动态放大

PDF
TL;DR本研究提出了一种基于 Swine Transformer 的视频运动放大技术的新模型，具有更好的对噪声输入的容忍性和输出高品质荧光的能力，可用于在任何依赖放大视频序列的应用程序中实现更精确的测量，为视频运动放大技术在新技术领域的进一步发展打下基础。
video motion magnificationswine transformernoisy inputoutput image qualitysub-pixel movement
发现论文，激发创造
  • 基于学习的视频运动放大

    本文提供了一种使用深度卷积神经网络从示例中直接学习滤波器并通过合成数据集进行训练的方法来提高视频运动放大技术的质量，这些方法可以在真实视频上获得高质量的结果，并且利用时间滤波器可用于中度放大，同时分析了所学得的滤波器与以前的方法中使用的导数滤波器的相似之处。

    Apr, 2018

  • 再探基于学习的视频运动放大实时处理

    实时视频运动放大技术的关键发现是减少潜在运动表征的空间分辨率和使用单一线性层和单一分支来实现运动放大任务。基于这些发现，我们介绍了一个实时的深度学习基于模型，比之前的方法具有更高的计算效率和速度，同时保持了相当的质量。

    Mar, 2024

  • 视频加速放大

    该论文提出了一种基于欧拉方法的运动放大方法，可在不需要光流、时间对准或区域注释的情况下，对视频图像进行运动和颜色的放大处理。

    Apr, 2017

  • EulerMormer：基于 Transformer 的稳健欧拉运动增强算法

    论文提出了一种新颖的动态滤波策略来实现静动态场自适应降噪，并介绍了一种消除噪声同时保留重要信息的全局动态稀疏交叉协方差注意力机制，以及一种选择性调节不同频率特征依赖性以减少空间衰减和补充运动边界的多尺度双路径门控机制。实验证明，EulerMormer 从 Eulerian 的角度实现了更强大的视频运动放大，明显优于现有方法。

    Dec, 2023

  • 基于事件的运动放大

    提出了一种由事件相机和传统 RGB 相机组成的双摄像头系统，结合了事件流的时间密集信息和 RGB 图像的空间密集数据，以实现对高频运动的广泛和经济有效的放大，通过深度网络解决了高频运动和微小运动放大的问题。

    Feb, 2024

  • 基于学习的轴向运动放大

    改进了通过提出一种名为轴向动作放大的新概念来提高视频动作放大的可读性，该方法可以放大沿用户指定方向的分解动作，并通过 Motion Separation 模块进行学习，以实现对特定轴的运动的放大和简化，从而提供更容易阅读的动作信息，并可应用于多种应用中具有特定运动轴的关键性运动。

    Dec, 2023

  • DeepMag：使用梯度上升实现特定源运动放大

    DeepMag 是一种基于梯度上升的端到端深度神经网络视频处理框架，能够自动放大特定来源的微妙的颜色和运动信号，即使存在各种速度的大运动干扰。通过定量和定性评估该方法在不同头部运动水平的视频上的表现，我们将脉搏和呼吸的放大与现有的最先进方法进行了比较，发现我们的方法产生的放大视频具有更少的伪影和模糊，同时放大生理变化的程度类似。

    Aug, 2018

  • SpikeMM：高速微运动的弹性放大

    SpikeMM 是一种基于 spike 的算法，专门为高速运动放大而设计，通过多级信息提取、空间上采样和运动放大模块的集成，实现了自我监督方法适用于各种场景，并与高性能超分辨率和运动放大算法无缝结合，经验证在实际高频设置中放大运动的能力。

    Jun, 2024

  • 3D 运动增强：利用时间变化辐射场可视化微小运动

    运用 Euler 原理提取和放大固定点随时间嵌入变化的 3D 运动放大方法，支持运动相机拍摄场景的变化、创新视角渲染。通过时间变化的辐射场来表示场景，并在隐含和三平面辐射场作为三维场景表示中验证所提出的 3D 运动放大原理的有效性。在各种摄像机设置下，我们评估了所提出方法在合成和真实世界场景中的有效性。

    Aug, 2023

  • Video Swin Transformer

    本文介绍了一种针对视频领域的区域局部性 Transformer 架构，通过使用 Swin Transformer 设计来实现，同时利用预训练模型的威力，取得了行动识别和时间建模等广泛的视频识别基准的最新准确性。

    Jun, 2021