Jun, 2023

CVPR 2023 UG$^{extbf {2}}$+ 挑战赛 2.1 解决方案：大气湍流下的文本识别

PDF
TL;DR我们团队 VIELab-HUST 在 CVPR 2023 UG$^{2}$+ 比赛的 2.1 赛道中，通过大气湍流识别文本，使用多级框架、基于清晰度的帧选择算法、区域图像融合和学习性去除伪影方法，成功地恢复了高质量的图像，并获得了第一名的准确度。
text recognitionatmospheric turbulencemulti-stage frameworksharpness-based frame selectionlearning-based deartifacts method
发现论文，激发创造
  • CVPR 2023 UG$^2$+ Challenge Track 2.2：大气湍流下编码目标恢复的第一种解决方案

    本文介绍了 VIELab-HUST 团队在 CVPR 2023 UG2+ Track 2.2 中，对经过大气湍流干扰后的编码目标进行图像恢复的高效多阶段框架，并在最终排行榜上获得第一名。

    Jun, 2023

  • 单帧大气湍流抑制：基准研究与一种新的物理启示 Transformers 模型

    本研究提出了一种基于物理启发的转换器模型来处理大气湍流引起的图像失真，利用该模型可以提取动态湍流失真图并恢复无失真图像，并收集了两个现实世界的湍流数据集，用经典数据和一种新的任务驱动度量来进行评估。

    Jul, 2022

  • 大气湍流中无监督区域生长网络的目标分割

    本文提出了一个针对受大气湍流影响动态场景的两阶段无监督前景目标分割网络。在第一阶段，我们利用湍流变形的图像序列的平均光流来提供一个新颖的区域生长算法，为视频中的每个移动物体构建初步的掩膜。在第二阶段，我们采用具有一致性和分组损失的 U-Net 架构进一步优化这些掩膜，优化它们的时空对齐。我们的方法不需要标记的训练数据，并且适用于长距离视频的各种湍流强度。此外，我们发布了第一个受湍流影响的移动目标分割数据集，包含手动注释的地面实况掩膜。在这个新数据集上评估，我们的方法相比当前最先进的无监督方法展现出了优越的分割准确性和鲁棒性。

    Nov, 2023

  • 大气湍流抑制的等变模板配准

    通过模拟光流和引入隐函数模板，我们提出了一种强大的方法来恢复受大气湍流影响的图像的辐照度，该方法在注册中没有使用模板，避免了与模板初始化相关的伪影，并取得了最先进的性能。

    May, 2024

  • 在动荡环境中的弱监督人脸和全身识别

    提出了一个新的弱监督框架，采用参数高效的自注意力模块来生成领域不可知的表示，将湍流和清晰图像对齐到一个共同的子空间中，引入了一个新的倾斜映射估计器，用于预测湍流图像中观察到的几何失真，在画廊匹配中重新排序，排名 1 准确度提高了 13.86%，无需生成无湍流的图像或真实配对的图像，仅需要少量的注释样本，并使得越来越大的数据集更具实用性和迅速性。

    Aug, 2023

  • 利用不确定性学习修复大气湍流下受损图像

    本文提出了基于深度学习的方法，利用蒙特卡罗实验退出的认知不确定性来恢复大气湍流影响下的退化单张图像，并利用估计的不确定性图来指导网络获取恢复图像。

    Jul, 2022

  • 可变深度扩散的大气湍流校正

    本文提出了一种基于变分推断框架下的新型深度条件扩散模型来解决大气湍流校正问题，并在综合合成的 AT 数据集上进行了实验，结果表明该提议的框架取得了良好的定量和定性结果。

    May, 2023

  • 基于领域适应的实际大气湍流校正

    我们在实际环境中提出了一种大气湍流妥协模型，利用领域自适应框架将有监督的模拟大气湍流校正与无监督的实际大气湍流校正相结合，从而提高实际大气湍流场景的性能，改善图像质量和下游视觉任务。

    Feb, 2024

  • 如何在热适应目标检测模型上增强大气湍流效应？

    利用湍流图像增强技术改善在大气湍流环境下热适应和基于深度学习的目标检测模型的准确性和鲁棒性，研究表明，通过在模型训练中使用湍流特定的增强方法，可以显著提高检测湍流图像的准确性和鲁棒性。

    May, 2024

  • 时空湍流抑制：一个翻译视角

    利用经典图像修复算法的直觉，我们提出了深度大气湍流抑制网络（DATUM），能够在深度学习方法中高效地执行长距离时序聚合，同时无缝地促进像素注册和幸运成像，并通过额外的监督来共同减轻倾斜和模糊退化，从而显著优于现有方法，并提供十倍的处理速度提升。

    Jan, 2024