Aug, 2023

NeRT：通用无监督湍流抑制的隐式神经表示

PDF
TL;DR提出了一种基于隐式神经表示的无监督大气和水湍流抑制方法（NeRT），通过利用隐式神经表示和物理正确的倾斜 - 模糊湍流模型，仅仅依靠数十个扭曲输入图像就能重建出干净、无扭曲的图像，并且在大气和水湍流数据集的各种定性和定量评估中表现优于现有技术，同时展示了 NeRT 消除现实环境中的非受控湍流的能力，并将 NeRT 融入连续捕获的视频序列中实现了 48 倍的加速。
atmospheric turbulencewater turbulenceimplicit neural representationturbulence mitigationnert
发现论文，激发创造
  • 单帧大气湍流抑制：基准研究与一种新的物理启示 Transformers 模型

    本研究提出了一种基于物理启发的转换器模型来处理大气湍流引起的图像失真，利用该模型可以提取动态湍流失真图并恢复无失真图像，并收集了两个现实世界的湍流数据集，用经典数据和一种新的任务驱动度量来进行评估。

    Jul, 2022

  • ConVRT: 在测试时间优化神经视频表征间通过湍流的连贯视频修复

    通过在 CLIP 潜空间中优化自监督方法 ConVRT，结合真实世界湍流条件下的训练模型，提供了一个有效的解决方案来减轻动态视频中的大气湍流挑战。

    Dec, 2023

  • 在动荡环境中的弱监督人脸和全身识别

    提出了一个新的弱监督框架，采用参数高效的自注意力模块来生成领域不可知的表示，将湍流和清晰图像对齐到一个共同的子空间中，引入了一个新的倾斜映射估计器，用于预测湍流图像中观察到的几何失真，在画廊匹配中重新排序，排名 1 准确度提高了 13.86%，无需生成无湍流的图像或真实配对的图像，仅需要少量的注释样本，并使得越来越大的数据集更具实用性和迅速性。

    Aug, 2023

  • 基于领域适应的实际大气湍流校正

    我们在实际环境中提出了一种大气湍流妥协模型，利用领域自适应框架将有监督的模拟大气湍流校正与无监督的实际大气湍流校正相结合，从而提高实际大气湍流场景的性能，改善图像质量和下游视觉任务。

    Feb, 2024

  • 利用不确定性学习修复大气湍流下受损图像

    本文提出了基于深度学习的方法，利用蒙特卡罗实验退出的认知不确定性来恢复大气湍流影响下的退化单张图像，并利用估计的不确定性图来指导网络获取恢复图像。

    Jul, 2022

  • 大气湍流中无监督区域生长网络的目标分割

    本文提出了一个针对受大气湍流影响动态场景的两阶段无监督前景目标分割网络。在第一阶段，我们利用湍流变形的图像序列的平均光流来提供一个新颖的区域生长算法，为视频中的每个移动物体构建初步的掩膜。在第二阶段，我们采用具有一致性和分组损失的 U-Net 架构进一步优化这些掩膜，优化它们的时空对齐。我们的方法不需要标记的训练数据，并且适用于长距离视频的各种湍流强度。此外，我们发布了第一个受湍流影响的移动目标分割数据集，包含手动注释的地面实况掩膜。在这个新数据集上评估，我们的方法相比当前最先进的无监督方法展现出了优越的分割准确性和鲁棒性。

    Nov, 2023

  • 多视角遥感图像分割的隐式射线变换器

    该论文提出了一种基于 Implicit Ray-Transformer 和神经场的遥感场景语义分割方法，在有限的标记视图的情况下，通过引入多视角的三维结构先验信息以实现精确和视图一致的语义分割，并在实验中取得了较好效果。

    Mar, 2023

  • 使用隐式神经表示学习具有旋转和翻译不变性的表示

    该文介绍了一种使用隐式神经表示和超网络获取图像的不变语义表示的方法，该方法可以在任意或随机旋转和平移的图像中获取方向不变的语义表示，并与 SCAN 结合，获得最新的无监督聚类结果。

    Apr, 2023

  • 如何在热适应目标检测模型上增强大气湍流效应？

    利用湍流图像增强技术改善在大气湍流环境下热适应和基于深度学习的目标检测模型的准确性和鲁棒性，研究表明，通过在模型训练中使用湍流特定的增强方法，可以显著提高检测湍流图像的准确性和鲁棒性。

    May, 2024

  • 时空湍流抑制：一个翻译视角

    利用经典图像修复算法的直觉，我们提出了深度大气湍流抑制网络（DATUM），能够在深度学习方法中高效地执行长距离时序聚合，同时无缝地促进像素注册和幸运成像，并通过额外的监督来共同减轻倾斜和模糊退化，从而显著优于现有方法，并提供十倍的处理速度提升。

    Jan, 2024