ECCVJul, 2022

单帧大气湍流抑制：基准研究与一种新的物理启示 Transformers 模型

PDF
TL;DR本研究提出了一种基于物理启发的转换器模型来处理大气湍流引起的图像失真，利用该模型可以提取动态湍流失真图并恢复无失真图像，并收集了两个现实世界的湍流数据集，用经典数据和一种新的任务驱动度量来进行评估。
image restorationatmospheric turbulencetransformer modelreal-world turbulence datasetstext recognition accuracy
发现论文，激发创造
  • 利用不确定性学习修复大气湍流下受损图像

    本文提出了基于深度学习的方法，利用蒙特卡罗实验退出的认知不确定性来恢复大气湍流影响下的退化单张图像，并利用估计的不确定性图来指导网络获取恢复图像。

    Jul, 2022

  • 基于物理学的湍流图像恢复与随机细化

    提出了物理整合的修复网络 (PiRN) 和 PiRN-SR 方法，该方法通过物理模拟器直接参与训练过程，从而帮助网络从图像退化和底层图像中分离出随机性，以提高真实世界未知湍流条件下的泛化性能，并在像素精确度和感知质量方面提供了最新的恢复效果。

    Jul, 2023

  • 靠各向异性湍流重构静态和动态场景的图像

    本文介绍了一种统一的大气湍流衰减方法，在静态和动态序列中均可使用，并且通过利用一种新的时空非局部平均方法来构建可靠的参考帧，利用几何一致性和锐度度量来生成幸运帧，并通过对盲变焦点扩散函数进行物理约束的先验模型。通过合成和真实长距离湍流序列基于实验结果验证了所提出方法的性能。

    Aug, 2020

  • 如何在热适应目标检测模型上增强大气湍流效应？

    利用湍流图像增强技术改善在大气湍流环境下热适应和基于深度学习的目标检测模型的准确性和鲁棒性，研究表明，通过在模型训练中使用湍流特定的增强方法，可以显著提高检测湍流图像的准确性和鲁棒性。

    May, 2024

  • 基于领域适应的实际大气湍流校正

    我们在实际环境中提出了一种大气湍流妥协模型，利用领域自适应框架将有监督的模拟大气湍流校正与无监督的实际大气湍流校正相结合，从而提高实际大气湍流场景的性能，改善图像质量和下游视觉任务。

    Feb, 2024

  • 子采样湍流去除网络

    本文提出一种基于深度学习方法的视频去抖动和去模糊的方法，使用数据增强算法对湍流进行建模，使用 Wasserstein GAN 和 $l1$ 损失函数进行训练和还原，并结合子采样算法提高视频质量。

    Jul, 2018

  • 时空湍流抑制：一个翻译视角

    利用经典图像修复算法的直觉，我们提出了深度大气湍流抑制网络（DATUM），能够在深度学习方法中高效地执行长距离时序聚合，同时无缝地促进像素注册和幸运成像，并通过额外的监督来共同减轻倾斜和模糊退化，从而显著优于现有方法，并提供十倍的处理速度提升。

    Jan, 2024

  • Turb-Seg-Res：用于大气湍流动态视频的分割 - 恢复流程

    本文介绍了一种用于恢复湍流环境中动态场景视频的首个先分割再恢复的流程。我们利用均值光流和无监督的运动分割方法，在恢复之前对动态和静态场景组件进行分离。经过相机抖动补偿和分割后，我们利用湍流强度统计和基于噪声的程序化湍流生成器上训练的转换模型进行前景 / 背景增强，以实现快速数据集增强。与现有的恢复方法相比，在视频中恢复了大部分几何失真并提高了清晰度。我们公开提供我们的代码、模拟器和数据，以推进从湍流中恢复视频的领域：ripponcs.github.io/TurbSegRes。

    Apr, 2024

  • CVPR 2023 UG$^{extbf {2}}$+ 挑战赛 2.1 解决方案：大气湍流下的文本识别

    我们团队 VIELab-HUST 在 CVPR 2023 UG$^{2}$+ 比赛的 2.1 赛道中，通过大气湍流识别文本，使用多级框架、基于清晰度的帧选择算法、区域图像融合和学习性去除伪影方法，成功地恢复了高质量的图像，并获得了第一名的准确度。

    Jun, 2023

  • 可变深度扩散的大气湍流校正

    本文提出了一种基于变分推断框架下的新型深度条件扩散模型来解决大气湍流校正问题，并在综合合成的 AT 数据集上进行了实验，结果表明该提议的框架取得了良好的定量和定性结果。

    May, 2023