Jan, 2024

VJT: 基于视频的联合任务模型：去模糊、低光增强和降噪

PDF
TL;DR我们是第一次提出了一种高效的端到端视频转换器方法，用于视频去模糊、低光增强和去噪的综合任务。我们构建了一个新的多层转换器，每一层使用不同级别的模糊视频作为目标，以有效地学习视频的特征；此外，我们还设计了一种新的层间特征融合方案，以逐步学习视频特征并加速训练过程。我们还提供了一个新的多场景低光模糊噪声（MLBN）数据集，根据联合任务的特点生成，以尽可能模拟真实场景。我们进行了大量的实验证明，与许多先前的最先进方法相比，我们的方法的有效性得到了清楚的展示。
发现论文，激发创造
  • LEDNet: 低光弱化与去模糊联合处理

    该研究通过引入新的数据合成流程来模拟真实的低照度模糊退化，提出了联合低照度增强和去模糊的大规模数据集 LOL-Blur，同时提出了一种名为 LEDNet 的有效网络，解决了夜间摄影低照度和模糊问题。

    Feb, 2022

  • DaBiT: 深度和模糊信息引导的变压器用于联合对焦和超分辨率

    该研究介绍了一种优化的框架，用于联合处理焦点去模糊（重新聚焦）和视频超分辨率（VSR）的任务。该方法利用新颖的映射引导变换器和图像传播，有效地利用焦点模糊的连续空间变化，并修复录像。还引入了一种流重新聚焦模块，以有效地对齐模糊和清晰领域之间的相关特征。此外，提出了一种生成合成焦点模糊数据的新技术，扩展了模型的学习能力，包括更广泛的内容。该研究通过对 DAVIS-Blur 数据集进行综合实验，证明了该方法的优越性。与现有的视频恢复方法相比，我们的方法平均峰值信噪比性能提高了 1.9dB 以上，达到了最先进的结果。我们的源代码将在此 https URL 中提供。

    Jul, 2024

  • VRT: 视频修复变换器

    本文介绍了一种基于 Transformer 的视频修复方法，利用时序信息进行跨帧高清图像恢复，在多个基准数据集上均取得了高于现有方法的表现。

    Jan, 2022

  • 使用增强视觉 Transformer 进行图像重建

    本文提出了一个基于 Vision Transformer (ViT) 的图像重构框架，利用 4 种优化技术和生成对抗网络（GANs）启发的对抗性损失函数，用于图像去噪和修复，实验表明该框架在结构相似性（SSIM）方面比 U-Net 模型高出超过 3.5％，对于这两个任务，提议的增强算法进一步展示了超过基准的 extasciitilde5％SSIM 的改进。

    Jul, 2023

  • 模糊插值变压器用于来自模糊图像的真实世界运动

    本文主要研究从模糊图像中恢复运动的挑战性问题，介绍了一种基于双端监督、时空对称融合策略和多尺度残差 Swin transformer 模块的模糊插值变换器（BiT）方法，提出了一个混合相机系统以收集第一个真实世界数据集，并在 Adobe240 数据集上展示其显著的优势和对真实模糊场景的泛化能力。

    Nov, 2022

  • 去噪视觉变换器

    我们提出了一种噪声模型和去噪方法来解决 Vision Transformers 中存在的网格伪影问题，该方法能有效改善模型在语义和几何任务中的性能。

    Jan, 2024

  • 通过自然语言查询进行联合时刻检索和高亮检测

    本计划提出了一种新方法，使用多模式 Transformer 进行基于自然语言查询的视频摘要和亮点检测，以匹配用户自然语言查询来检索视频中最相关和最有趣的时刻， 并在多个数据集上进行评估，如 YouTube 亮点和 TVSum。

    May, 2023

  • 关于 BasicVSR++ 在视频去模糊和去噪方面的泛化

    通过将 BasicVSR++ 扩展为通用框架，本文在不同视频修复任务中取得了令人满意的效果，并证明了传播和对准对视频恢复任务的重要性。

    Apr, 2022

  • Light-VQA: 低光视频增强的多维质量评估模型

    通过构建 LLVE-QA 数据集并提出 Light-VQA 模型，本文针对 UGC 视频中的低照度造成视觉下降问题，同时考虑视觉质量评估方法，提供了一种基于特征融合的新型解决方案，该模型在 LLVE-QA 数据集和公共数据集上表现出最好的性能。

    May, 2023

  • 未知曝光时间下的联合视频多帧插值和去模糊

    本研究旨在有效地处理在未知曝光时间下所拍摄的视频，采取有监督对比学习构建曝光感知表征，使用两个 U-Net 进行运动分析，通过渐进式曝光自适应卷积和运动细化建立视频重建网络。在模拟和实际数据集上的实验表明，该优化方法在联合视频 x8 内插和去模糊任务上具有显着的性能提升，并且在看似不可能的 x16 内插任务上，该方法在 PSNR 方面比现有方法提高了 1.5 dB 以上。

    Mar, 2023