CVPRNov, 2022

模糊插值变压器用于来自模糊图像的真实世界运动

PDF
TL;DR本文主要研究从模糊图像中恢复运动的挑战性问题，介绍了一种基于双端监督、时空对称融合策略和多尺度残差 Swin transformer 模块的模糊插值变换器（BiT）方法，提出了一个混合相机系统以收集第一个真实世界数据集，并在 Adobe240 数据集上展示其显著的优势和对真实模糊场景的泛化能力。
motion recoveryblurtemporal correlationtransformerreal-world dataset
发现论文，激发创造
  • DaBiT: 深度和模糊信息引导的变压器用于联合对焦和超分辨率

    该研究介绍了一种优化的框架，用于联合处理焦点去模糊（重新聚焦）和视频超分辨率（VSR）的任务。该方法利用新颖的映射引导变换器和图像传播，有效地利用焦点模糊的连续空间变化，并修复录像。还引入了一种流重新聚焦模块，以有效地对齐模糊和清晰领域之间的相关特征。此外，提出了一种生成合成焦点模糊数据的新技术，扩展了模型的学习能力，包括更广泛的内容。该研究通过对 DAVIS-Blur 数据集进行综合实验，证明了该方法的优越性。与现有的视频恢复方法相比，我们的方法平均峰值信噪比性能提高了 1.9dB 以上，达到了最先进的结果。我们的源代码将在此 https URL 中提供。

    Jul, 2024

  • BiFormer: 通过双向 Transformer 学习双边运动估计 用于 4K 视频帧插值

    本文提出了一种基于双向变形器（BiFormer）的新型 4K 视频帧插值器，它包含三个步骤：全局运动估计，局部运动细化和帧合成。通过使用双向变形器和基于块的代价卷积技术，该算法实现了出色的插值性能。

    Apr, 2023

  • 运动模糊视频插值和外推

    本研究提出了一种新的框架，该框架可以通过光流估计学习引起模糊的像素级运动，然后将已解码的特征变形以估算的光流预测多个清晰的帧，从而以一种端到端的方式从运动模糊视频中去模糊、插值和外推锐化帧。

    Mar, 2021

  • 模糊感知时空稀疏变压器用于视频去模糊

    提出了一种名为 BSSTNet 的模型，它通过引入模糊图，将初始的密集注意力转化为稀疏形式，从而更全面地利用整个视频序列中的信息。BSSTNet 在变换器中使用了更长的时间窗口，利用较远帧中的信息来修复当前帧中的模糊像素，同时引入了由模糊图引导的双向特征传播，降低了由模糊帧引起的错误累积。实验结果表明，提出的 BSSTNet 在 GoPro 和 DVD 数据集上优于现有的方法。

    Jun, 2024

  • 模糊视频帧插值的三阶级联框架

    这篇论文提出了一个简单的端到端三阶段框架，以从模糊视频中充分提取有用信息，解决了模糊视频帧插值的挑战性问题，并在多个实验结果中展示了其有效性。

    Oct, 2023

  • 学习合成运动模糊

    本文通过神经网络和线性预测技术，提出了一种技术，可以从一对连续拍摄的图像中合成运动模糊图像。作者还利用了帧内插技术生成了大规模的合成数据集，并从慢动作视频中捕获了高质量的测试集。实验结果显示，本文提出的模型在精度和速度上均优于基线技术。

    Nov, 2018

  • 模糊视频帧插值

    本研究提出了一种模糊视频帧插值方法，通过金字塔模块和内部循环递推模块实现一定程度上同时减少运动模糊和提高帧率。实验证明，该方法在影像增强方面表现优异。

    Feb, 2020

  • 通过运动理解从单个模糊图像中恢复视频帧

    该论文介绍了一种基于编码器 - 解码器结构的视频清晰化方法，通过将视频序列和运动因素作为潜在因素，将单个模糊图像作为观察值，设计了一种损失函数和正则化器，经过大量实验验证了该方法的有效性和可转移性。

    Apr, 2021

  • 基于卷积和 Transformer 的视频帧插帧网络

    本文提出一种创新的方法，将 Transformer 编码器和卷积特征相结合，从而减少了近 50% 的内存负担，在推理时间上比现有的基于 Transformer 的插值方法运行速度提高了近四倍，并引入双编码器架构来结合局部相关的卷积和远程相关的 Transformer。在复杂运动方面进行了定量评估，展示了所提出方法的鲁棒性，与最先进的插值网络相比，取得了竞争性能。

    Jul, 2023

  • 基于混合 Transformer 的视频去模糊的长期锐利特征聚合

    提出了一种利用混合 Transformer 进行特征聚合的视频去模糊方法，该方法通过利用邻近帧和当前清晰帧恢复模糊帧，对事件驱动视频去模糊也有优秀表现。

    Sep, 2023