CVPRApr, 2024

Turb-Seg-Res：用于大气湍流动态视频的分割 - 恢复流程

PDF
TL;DR本文介绍了一种用于恢复湍流环境中动态场景视频的首个先分割再恢复的流程。我们利用均值光流和无监督的运动分割方法，在恢复之前对动态和静态场景组件进行分离。经过相机抖动补偿和分割后，我们利用湍流强度统计和基于噪声的程序化湍流生成器上训练的转换模型进行前景 / 背景增强，以实现快速数据集增强。与现有的恢复方法相比，在视频中恢复了大部分几何失真并提高了清晰度。我们公开提供我们的代码、模拟器和数据，以推进从湍流中恢复视频的领域：ripponcs.github.io/TurbSegRes。
image degradationatmospheric turbulencelong-range imaging systemssegment-then-restore pipelinevideo restoration
发现论文，激发创造
  • 单帧大气湍流抑制：基准研究与一种新的物理启示 Transformers 模型

    本研究提出了一种基于物理启发的转换器模型来处理大气湍流引起的图像失真，利用该模型可以提取动态湍流失真图并恢复无失真图像，并收集了两个现实世界的湍流数据集，用经典数据和一种新的任务驱动度量来进行评估。

    Jul, 2022

  • 大气湍流中无监督区域生长网络的目标分割

    本文提出了一个针对受大气湍流影响动态场景的两阶段无监督前景目标分割网络。在第一阶段，我们利用湍流变形的图像序列的平均光流来提供一个新颖的区域生长算法，为视频中的每个移动物体构建初步的掩膜。在第二阶段，我们采用具有一致性和分组损失的 U-Net 架构进一步优化这些掩膜，优化它们的时空对齐。我们的方法不需要标记的训练数据，并且适用于长距离视频的各种湍流强度。此外，我们发布了第一个受湍流影响的移动目标分割数据集，包含手动注释的地面实况掩膜。在这个新数据集上评估，我们的方法相比当前最先进的无监督方法展现出了优越的分割准确性和鲁棒性。

    Nov, 2023

  • 靠各向异性湍流重构静态和动态场景的图像

    本文介绍了一种统一的大气湍流衰减方法，在静态和动态序列中均可使用，并且通过利用一种新的时空非局部平均方法来构建可靠的参考帧，利用几何一致性和锐度度量来生成幸运帧，并通过对盲变焦点扩散函数进行物理约束的先验模型。通过合成和真实长距离湍流序列基于实验结果验证了所提出方法的性能。

    Aug, 2020

  • CVPR 2023 UG$^2$+ Challenge Track 2.2：大气湍流下编码目标恢复的第一种解决方案

    本文介绍了 VIELab-HUST 团队在 CVPR 2023 UG2+ Track 2.2 中，对经过大气湍流干扰后的编码目标进行图像恢复的高效多阶段框架，并在最终排行榜上获得第一名。

    Jun, 2023

  • 子采样湍流去除网络

    本文提出一种基于深度学习方法的视频去抖动和去模糊的方法，使用数据增强算法对湍流进行建模，使用 Wasserstein GAN 和 $l1$ 损失函数进行训练和还原，并结合子采样算法提高视频质量。

    Jul, 2018

  • ConVRT: 在测试时间优化神经视频表征间通过湍流的连贯视频修复

    通过在 CLIP 潜空间中优化自监督方法 ConVRT，结合真实世界湍流条件下的训练模型，提供了一个有效的解决方案来减轻动态视频中的大气湍流挑战。

    Dec, 2023

  • CVPR 2023 UG$^{extbf {2}}$+ 挑战赛 2.1 解决方案：大气湍流下的文本识别

    我们团队 VIELab-HUST 在 CVPR 2023 UG$^{2}$+ 比赛的 2.1 赛道中，通过大气湍流识别文本，使用多级框架、基于清晰度的帧选择算法、区域图像融合和学习性去除伪影方法，成功地恢复了高质量的图像，并获得了第一名的准确度。

    Jun, 2023

  • 利用视频序列深度视觉先验进行大气湍流去除

    基于自我监督学习的方法能够改善大气湍流扭曲效应，利用深度学习和时空先验能够提高图像质量。

    Feb, 2024

  • 基于物理学的湍流图像恢复与随机细化

    提出了物理整合的修复网络 (PiRN) 和 PiRN-SR 方法，该方法通过物理模拟器直接参与训练过程，从而帮助网络从图像退化和底层图像中分离出随机性，以提高真实世界未知湍流条件下的泛化性能，并在像素精确度和感知质量方面提供了最新的恢复效果。

    Jul, 2023

  • 利用不确定性学习修复大气湍流下受损图像

    本文提出了基于深度学习的方法，利用蒙特卡罗实验退出的认知不确定性来恢复大气湍流影响下的退化单张图像，并利用估计的不确定性图来指导网络获取恢复图像。

    Jul, 2022