Jun, 2024

SpikeMM：高速微运动的弹性放大

PDF
TL;DRSpikeMM 是一种基于 spike 的算法，专门为高速运动放大而设计，通过多级信息提取、空间上采样和运动放大模块的集成，实现了自我监督方法适用于各种场景，并与高性能超分辨率和运动放大算法无缝结合，经验证在实际高频设置中放大运动的能力。
high-speed micro-motionsspike camerasmotion magnificationinformation extractionspatial upsampling
发现论文，激发创造
  • 基于事件的运动放大

    提出了一种由事件相机和传统 RGB 相机组成的双摄像头系统，结合了事件流的时间密集信息和 RGB 图像的空间密集数据，以实现对高频运动的广泛和经济有效的放大，通过深度网络解决了高频运动和微小运动放大的问题。

    Feb, 2024

  • 视频加速放大

    该论文提出了一种基于欧拉方法的运动放大方法，可在不需要光流、时间对准或区域注释的情况下，对视频图像进行运动和颜色的放大处理。

    Apr, 2017

  • 通过多级同构架构进行运动增强的频率解耦

    频率解耦运动放大的多水平同构架构，稀疏高 / 低通滤波器和对比正则化的创新设计，使得该模型在减少不必要的运动放大和提高细节完整性方面表现出色。

    Mar, 2024

  • SpikeReveal：从真实模糊输入中解开时间序列的尖峰流

    提出了第一个自监督框架来解决基于脉冲引导的运动去模糊任务，通过理论关系和知识蒸馏设计轻量级去模糊网络，生成与原始输入亮度和纹理一致的高质量序列。

    Mar, 2024

  • 再探基于学习的视频运动放大实时处理

    实时视频运动放大技术的关键发现是减少潜在运动表征的空间分辨率和使用单一线性层和单一分支来实现运动放大任务。基于这些发现，我们介绍了一个实时的深度学习基于模型，比之前的方法具有更高的计算效率和速度，同时保持了相当的质量。

    Mar, 2024

  • 脉冲相机的光流估计

    介绍了一种基于深度学习的用于估计高速场景下 spiking 相机的光流的流水线，并引入了一种新的输入表示方法以自适应地去除 spike 流中的运动模糊。通过在名为 SPIFT 和 PHM 的场景中合成的光流数据进行训练，该方法显示出对不同高速场景下的 spiking 数据能够有效地预测结果。

    Oct, 2021

  • STB-VMM：基于 Swin Transformer 的视频动态放大

    本研究提出了一种基于 Swine Transformer 的视频运动放大技术的新模型，具有更好的对噪声输入的容忍性和输出高品质荧光的能力，可用于在任何依赖放大视频序列的应用程序中实现更精确的测量，为视频运动放大技术在新技术领域的进一步发展打下基础。

    Feb, 2023

  • DeepMag：使用梯度上升实现特定源运动放大

    DeepMag 是一种基于梯度上升的端到端深度神经网络视频处理框架，能够自动放大特定来源的微妙的颜色和运动信号，即使存在各种速度的大运动干扰。通过定量和定性评估该方法在不同头部运动水平的视频上的表现，我们将脉搏和呼吸的放大与现有的最先进方法进行了比较，发现我们的方法产生的放大视频具有更少的伪影和模糊，同时放大生理变化的程度类似。

    Aug, 2018

  • 基于学习的视频运动放大

    本文提供了一种使用深度卷积神经网络从示例中直接学习滤波器并通过合成数据集进行训练的方法来提高视频运动放大技术的质量，这些方法可以在真实视频上获得高质量的结果，并且利用时间滤波器可用于中度放大，同时分析了所学得的滤波器与以前的方法中使用的导数滤波器的相似之处。

    Apr, 2018

  • EulerMormer：基于 Transformer 的稳健欧拉运动增强算法

    论文提出了一种新颖的动态滤波策略来实现静动态场自适应降噪，并介绍了一种消除噪声同时保留重要信息的全局动态稀疏交叉协方差注意力机制，以及一种选择性调节不同频率特征依赖性以减少空间衰减和补充运动边界的多尺度双路径门控机制。实验证明，EulerMormer 从 Eulerian 的角度实现了更强大的视频运动放大，明显优于现有方法。

    Dec, 2023