May, 2024

Retinexmamba：基于 Retinex 的 Mamba 低光图像增强

PDF
TL;DR该研究介绍了 RetinexMamba 架构，既保留了传统 Retinex 方法的物理直观性，又融合了 Retinexformer 的深度学习框架，通过引入 State Space Models（SSMs）提高了处理速度，并将 Retinexformer 中的 IG-MSA（Illumination-Guided Multi-Head Attention）替换为 Fused-Attention 机制，从而提高了模型的解释能力。在 LOL 数据集上的实验评估表明，RetinexMamba 在定量和定性指标上优于现有基于 Retinex 理论的深度学习方法，证实了其在增强低光图像方面的有效性和优越性。
发现论文，激发创造
  • STIR: 用于图像检索后处理的孪生 Transformer

    该研究提出了一种基于三元损失的简化模型和一种用于图像检索的新方法 STIR，它采用注意力机制在像素级别上直接比较查询图像和候选图像，不需要全局 / 局部特征提取，能够在标准图像检索数据集上定义新的技术状态。

    Apr, 2023

  • 图像检索的深度视觉表示端到端学习

    本文针对深度学习在实例级图像检索方面表现不佳的问题，提出了基于大规模嘈杂地标数据集的清洗方法、改进的 R-MAC 描述符、基于三元组损失的孪生网络，并在 Oxford 5k、Paris 6k 和 Holidays 数据集上，分别报告了 94.7，96.6 和 94.8 的平均精度，并通过产品量化处理可以实现图像表示的高度压缩。

    Oct, 2016

  • 训练视觉 Transformer 进行图像检索

    本文提出一种基于变换器的图像检索方法，通过采用视觉变换器生成图像描述符并使用度量学习目标进行训练，结合对比损失和微分熵正则化，相比于卷积方法，提高了图像检索性能，特别是对于短向量表示和低分辨率图像。

    Feb, 2021

  • Restormer: 高分辨率图像修复的高效 Transformer 模型

    本文提出了一种名为 Restoration Transformer 的有效 Transformers 模型，通过几个关键设计，使其能够捕捉长距离像素交互，同时仍适用于大图像，在图像去噪、去模糊和降雨方面达到了最先进的效果。

    Nov, 2021

  • 深入探索区域信息：基于变换器的单幅图像去雨方法

    我们提出了一种名为 Regformer 的新型 SID 方法，强调在高质量图像重建中独立处理受雨影响和不受影响区域以及考虑它们的联合影响的重要性，通过创新的 Region Transformer Block (RTB) 来实现。实验结果表明，该模型达到了最先进的性能，显著提高了图像去雨质量。

    Feb, 2024

  • 使用视觉转换器进行台风强度预测

    利用卫星图像进行场景分析以准确预测台风强度，引入自注意力机制的 “Typhoon Intensity Transformer”（Tint）通过每层具有全局感受野的自注意力操作，提升了局部和全局上下文关系的提取能力，并在公开的台风基准测试中验证了其在深度学习和常规气象方法方面的有效性。

    Nov, 2023

  • 基于 ROI 的 Swin Transformers 深度图像压缩

    本文提出了一种利用 Swin transformer 作为自编码器网络的主要构建模块，将二进制 ROI 掩模集成到不同层的网络中，以提供空间信息指导。实验结果表明，这种模型在 ROI PSNR 方面优于其他方法，在 COOCO 验证集上具有更好的目标检测和实例分割性能。

    May, 2023

  • 通过重新描述学习文本到图像生成的 MirrorGAN

    本文提出了一种名为 MirrorGAN 的新的全局 - 局部注意力和语义保持的文本 - 图像 - 文本框架，通过重新描述学习文本到图像的生成，包括三个模块：语义文本嵌入模块（STEM）、用于连续图像生成的全局 - 局部协作注意力模块（GLAM）和语义文本再生和对齐模块（STREAM），在两个公共基准数据集上的实验表明了 MirrorGAN 在文本到图像生成方面的优越性。

    Mar, 2019

  • 检索增强转换器用于图像字幕生成

    本论文中，我们研究了一种基于 kNN 记忆的图像字幕生成方法，其中可以从外部语料库中检索知识来辅助生成过程。通过在视觉相似性、差分编码器和 kNN 增强的注意力层之间结合知识检索器来预测基于上下文和从外部内存检索的文本的令牌。在 COCO 数据集上进行的实验结果表明，采用显式的外部存储器可以帮助生成过程并提高字幕质量。我们的工作为更大规模的图像字幕生成模型的改进开辟了新的途径。

    Jul, 2022

  • 图像变换器

    在这项工作中，我们将基于自我关注机制的模型架构 ——Transformer 模型，泛化到图像生成的序列建模问题上，并通过限制自我关注机制只关注局部邻域，显著提高了模型能够实际处理的图像大小，同时在图像生成方面显著优于当前最优秀的状态，提高了 ImageNet 上最佳公布的负对数似然从 3.83 到 3.77，同时还针对大放大倍数进行了图像超分辨率实验。在人类评估研究中，我们发现，我们超分辨率模型生成的图像比先前的最优模型更能欺骗人类观察者。

    Feb, 2018