Oct, 2023

DIAR：基于 Swin Transformers 的深度图像对齐与重建

PDF
TL;DR利用深度学习管道，同时对一系列畸变图像进行对齐和重构，并通过 Swin Transformer 模型分析顺序图像数据，通过注意力图检测相关图像内容并与离群值和伪影区分开来，利用神经特征图作为经典关键点检测器的替代方法，从而提供稠密图像描述符以寻找图像间的点对应关系，并运用此来计算粗略的图像对齐并探索其局限性。
deep learning pipelineimage alignmentimage reconstructionswin transformer modelsneural feature maps
发现论文，激发创造
  • SwinIR：使用 Swin Transformer 进行图像恢复

    本研究提出了一种基于 Swin Transformer 的强基线模型 SwinIR，用于图像恢复，通过对三种典型任务进行实验（图像超分辨率、图像降噪和 JPEG 压缩），实验结果表明，SwinIR 在不同任务上的表现比最先进的方法提高了至多 0.14~0.45dB，同时可以将参数总数减少高达 67%。

    Aug, 2021

  • SIDAR: 用于对齐与修复的合成图像数据集

    该研究提出了一种使用 3D 渲染的数据增强方法，以产生更接近于实际世界情境的图像失真。这种数据增强方法可用于训练和评估图像对齐和伪影去除等多种任务，并且可应用于任何现有的数据集以改进任何现有方法的特征学习能力。

    May, 2023

  • DarSwin: 扭曲感知径向 Swin Transformer

    本文提出了一种基于变压器的新型模型 DarSwin，可以自适应宽角镜头所产生的畸变，并对各种畸变进行了零样本适应。与其他基线相比，DarSwin 在中度和高度畸变水平下获得了最佳结果，并且在低度和非常低度的畸变水平下与现有技术相媲美。

    Apr, 2023

  • 基于 Swin Transformer UNet 的地面图像去模糊

    借助基于 Swin Transformer 结构的 deep learning 方法进行恢复图像分辨率的研究，提出了一种具有先进的稀疏小波框架的三步解卷积框架，与传统的 Firedec 算法相比，我们的方法在恢复分辨率、适应不同噪声特性和计算效率方面展示出巨大优势，对于从地面图像中识别远程宇宙中的结构具有很大的潜力。

    May, 2024

  • 分解器：图像修复和图像分解的半监督学习

    我们提出了一种名为 Decomposer 的半监督重建模型，它将失真的图像序列分解为它们的基本构建块 - 原始图像和应用的增强，例如阴影、光线和遮挡。

    Nov, 2023

  • 使用深度惩罚重建紧密对齐数百万图像

    该论文提出了一种基于稠密融合的空间变换器网络和低容量自编码器的无监督联合对准方法，能够在 MNIST 和 LFW 数据集中高精度、鲁棒地对齐数百万张图像，比现有方法具有更好的对齐质量和初始鲁棒性。

    Aug, 2019

  • 基于 SNR-Aware Swin Transformer 的无监督低光图像增强技术

    本文提出了一种基于 Swin Transformer 的双分支网络，以信噪比先验图为指导，利用无监督学习构建优化目标，实现低光图像增强，并在实验中取得竞争性的结果。

    Jun, 2023

  • 具有深度特征正交性和混合 Swin 转换器的高效大规模图像检索

    我们提出了一种高效的端到端管道，用于大规模地标识别和检索，演示如何结合和增强最近图像检索研究中的概念并介绍两种特别适用于大规模地标识别的架构：深度正交融合的全局和局部特征模型（DOLG）使用 EfficientNet 骨干和一种新的混合 Swin 变换器，讨论了如何使用逐步方法高效地训练两种架构，并提供了一个具有动态边缘的子中心 Arcface 损失，此外还详细阐述了一种新的判别式重新排名方法用于图像检索，我们的方法通过赢得 Google Landmark 竞赛 2021 的识别和检索赛道证明了其卓越性。

    Oct, 2021

  • 基于增强的 Swin Transformer 及本地 - 全局特征的交替聚合的图像超分辨重建网络

    本论文通过交替聚合局部全局特征，引入了位移卷积实现局部空间信息和通道信息的交互，并提出了块稀疏全局感知模块以进一步实现空间和通道信息的交互。同时，引入了多尺度自注意模块和低参数残差通道注意模块，实现了不同尺度上的信息聚合。在五个公开数据集上验证了提出的网络，在超分辨率方面超过了其他最先进的网络。

    Dec, 2023

  • HEAL-SWIN: 球面上的视觉 Transformer

    本研究提出了一种结合 HEALPix 网格和 SWIN transformer 的模型，名为 HEAL-SWIN transformer，可以在高分辨率、无失真的球面数据上进行训练，用于语义分割和深度回归任务，且性能更优。

    Jul, 2023