MMAug, 2020

ALANET: 自适应潜在注意力网络用于视频去模糊和插值

PDF
TL;DR本文提出了一种新颖的 Adaptive Latent Attention Network (ALANET) 体系结构，可生成高帧率锐利视频，具有去模糊和插值任务，利用自注意和交叉注意模块优化表示来帮助模型生成和插值锐利帧。实验结果表明，我们的方法在标准数据集上表现优异。
high frame-ratesharp video synthesisadaptive latent attention networkframe deblurringframe interpolation
发现论文，激发创造
  • 未知曝光时间下的联合视频多帧插值和去模糊

    本研究旨在有效地处理在未知曝光时间下所拍摄的视频，采取有监督对比学习构建曝光感知表征，使用两个 U-Net 进行运动分析，通过渐进式曝光自适应卷积和运动细化建立视频重建网络。在模拟和实际数据集上的实验表明，该优化方法在联合视频 x8 内插和去模糊任务上具有显着的性能提升，并且在看似不可能的 x16 内插任务上，该方法在 PSNR 方面比现有方法提高了 1.5 dB 以上。

    Mar, 2023

  • 视频去模糊的时空可形变注意力网络

    提出了一种运用 Spatio-Temporal Deformable Attention Network (STDANet) 实现视频去模糊的方法，STDANet 不仅仅考虑图像中的流动信息，同时考虑图像中像素点的清晰度，从而使得方法得到的清晰显著提高。

    Jul, 2022

  • BANet: 模糊感知的动态场景去模糊的注意力网络

    Blur-aware Attention Network (BANet) 通过使用区域自注意力和多核带池来分离不同大小和方向的模糊模式，以及级联并行膨胀卷积来聚合多尺度内容特征，提供了单次前向传递的精确和高效的去模糊，实验证明与当前技术相比，在模糊图像恢复方面表现良好，并且可以实时提供去模糊结果。

    Jan, 2021

  • ASF-Net：通过时间对齐和在线自适应学习实现稳健的视频去雨

    近期，基于学习的视频去雨方法取得了令人赞赏的结果，但依然需要解决两个关键挑战：利用相邻帧之间的时间相关性以及对未知真实场景的适应性。为了克服这些挑战，我们从范式设计到学习策略构建方面探索了视频去雨，并提出了一种新的计算范式，即对准 - 移位 - 融合网络（ASF-Net）。该网络引入了一个新颖的时间移位模块，通过促进特征空间内通道级信息的交换，提供了对时间信息更深层次的探索。为充分发挥模型的特征提取能力，我们构建了一个大规模的雨天视频数据集（LARA），该数据集还支持社区的开发。基于新构建的数据集，我们通过开发一种创新的反恶化学习策略来探索参数学习过程，从而弥合了合成场景和真实场景之间的差距，增强了场景适应性。我们提出的方法在三个基准测试中表现出卓越性能，在真实场景中具有令人信服的视觉质量，凸显了其有效性。代码可在 https URL 获得。

    Sep, 2023

  • 多尺度深度损失函数和生成式对抗网络的帧插值

    本文提出了一种基于多尺度生成对抗网络的视频插帧算法（FIGAN），并通过构建粗到细的多尺度残差估计模块以及联合多级感知损失函数的方法，在算法效率和插帧视频的视觉质量两方面取得了较好的结果。

    Nov, 2017

  • 面向运动自适应去模糊的空间注意力补丁分层网络

    该研究提出了一种用于处理动态场景运动去模糊的有效像素自适应和特征关注设计，并使用有效的内容感知全局 - 局部过滤器模块，通过动态利用相邻像素信息和全局依赖性来显著提高性能，从而 surpassed 其他先前的去模糊方法。

    Apr, 2020

  • U-GAT-IT：自适应层 - 实例归一化的无监督生成式注意力网络用于图像翻译

    本文提出了一种新的无监督图像到图像的转换方法，它通过引入一个新的注意力模块和一个可学习的规范化函数，以端对端的方式来实现。

    Jul, 2019

  • LAA-Net：用于高质量 Deepfakes 检测的局部伪影注意力网络

    介绍了一种名为局部化伪造关注网络（LAA-Net）的用于高质量深度伪造检测的新方法，该方法通过明确的关注机制以及简单有效的升级特征金字塔网络（E-FPN）来提高检测性能。

    Jan, 2024

  • 在潜空间中通过插值和外推进行离焦模糊合成和去模糊

    本研究提出使用自动编码器和线性潜空间来合成和去模糊图像，以改善显微图像的质量并用于进一步的处理和分析。

    Jul, 2023

  • 元学习实现的场景自适应视频帧插值

    本文提出了一种利用测试时可用但之前未被利用的额外信息为每个视频自适应模型的方法，包括使用简单的微调和集成元学习等，以只进行单次梯度更新且不增加额外参数的方式获得显著的性能提升。 同时，我们表明此元学习框架可轻松应用于任何视频帧插值网络，并能在多个基准数据集上持续提高其性能。

    Apr, 2020