Jul, 2023

使用增强视觉 Transformer 进行图像重建

PDF
TL;DR本文提出了一个基于 Vision Transformer (ViT) 的图像重构框架，利用 4 种优化技术和生成对抗网络（GANs）启发的对抗性损失函数，用于图像去噪和修复，实验表明该框架在结构相似性（SSIM）方面比 U-Net 模型高出超过 3.5％，对于这两个任务，提议的增强算法进一步展示了超过基准的 extasciitilde5％SSIM 的改进。
image reconstructionvision transformeroptimization techniquesadversarial loss functionimage denoising
发现论文，激发创造
  • 去噪视觉变换器

    我们提出了一种噪声模型和去噪方法来解决 Vision Transformers 中存在的网格伪影问题，该方法能有效改善模型在语义和几何任务中的性能。

    Jan, 2024

  • 基于 Transformer 的端到端图像压缩和分析

    本文提出了一种基于 Transformer 的端到端图像压缩和分析模型，实现云端图像分类应用，并通过两步训练策略解决了率失真精度优化问题。实验结果表明，该模型在图像压缩和分类任务中均具有有效性。

    Dec, 2021

  • 基于 Transformer 和循环一致生成对抗网络的视网膜图像修复

    本文介绍一种使用视觉 Transformer 和卷积神经网络进行视网膜图像增强的方法，该方法建立了一个循环一致生成对抗网络，通过两个发生器和两个鉴别器进行图像转换，通过测量实验结果，该方法成功地减少了模糊、噪声、光照干扰和色彩失真的负面影响，同时显着保留了结构和颜色信息。

    Mar, 2023

  • LF-ViT：针对高效图像识别减少 Vision Transformer 中的空间冗余

    该研究提出了一种名为 LF-ViT 的定位和聚焦视觉变换器模型，通过在定位阶段处理降低分辨率图像并在发现困难预测时触发内置的全局类注意机制，确定和聚焦类别区域，然后在聚焦阶段使用原始图像中的该区域增强识别能力，该模型有效地缩小了计算要求并提高了性能。

    Jan, 2024

  • 基于随机共振变压器的子标记视觉转换器嵌入

    我们发现 Vision Transformers（ViTs）中存在量化伪像，这是由于这些架构中固有的图像令牌化步骤引起的。我们提出了一种零样本方法来改善预训练 ViTs 处理空间量化的方式。具体而言，我们建议使用通过子标记空间平移扰动输入图像获得的特征集合，灵感来自于随机共振 —— 这是一种传统上应用于气候动力学和信号处理的方法。我们称此方法为 “随机共振变压器”（SRT），我们显示出 SRT 可以有效地超分辨率预训练 ViTs 的特征，捕捉到更多的局部细粒度结构，这些结构在令牌化的方式下可能会被忽视。SRT 可以应用在任何层、任何任务上，并且不需要任何微调。前者的优点在于应用于单目深度预测时变得明显，在三种不同架构上，我们展示了在 RMSE 和 RMSE-log 指标上应用 SRT 在中间 ViT 特征上而不是集成模型输出的基线模型性能平均分别提高了 4.7% 和 14.9%。在半监督视频目标分割中，SRT 也在所有指标上均改进了基线模型，平均提高了 2.4% 的 F&J 分数。我们还进一步展示了这些量化伪像可以通过自蒸馏在一定程度上进行衰减。在无监督显著区域分割上，SRT 相对于基准模型平均提高了 2.1% 的 maxF 指标。最后，尽管 SRT 仅基于像素级特征进行操作，但它也适用于像图像检索和目标发现这样的非密集预测任务，分别产生了一致的改进效果，最多分别提高了 2.6% 和 1.0%。

    Oct, 2023

  • 视觉 Transformer 的旋转位置嵌入

    使用 RoPE（Rotary Position Embedding）在 Vision Transformer（ViT）中的实际实现对 2D 视觉数据进行了综合分析，结果显示 RoPE 在推理时能够保持精度的同时提高图像分辨率，从而改善 ImageNet-1k、COCO 检测和 ADE-20k 分割的性能。此研究提供了将 RoPE 应用于 ViT 的详细指南，承诺在最小的额外计算开销下提高主干性能。

    Mar, 2024

  • 具有渐进采样的视觉 Transformer

    本研究提出一种迭代和渐进式采样策略，以定位具有区分性的区域，并与 Vision Transformer 结合起来，形成 PS-ViT 网络。该网络可自适应地学习何时观察图像的哪些区域，从而在 ImageNet 数据集上表现出比原始 ViT 网络高 3.8％的 top-1 准确性（使用约 4 倍的参数和 10 倍的运算次数）。

    Aug, 2021

  • 用于图像异常定位的掩蔽变形器

    基于 Vision Transformer 架构和 Patch 掩蔽技术的图像异常检测方法，将输入图像分成多个分辨率的 Patch，在忽略异常信息的同时对周围数据进行重建，相较传统方法性能更好，MVTec 和 head CT 等数据集上实现了良好的结果。

    Oct, 2022

  • 单输入图像视角合成的视觉 Transformer 网络

    本研究提出利用全局和局部特征构建表达式三维模型的方法，通过训练 MLP 网络，实现从单个未定位图像中合成新视角，并在多个物体类别上进行泛化，获得了比现有方法更出色的性能和更丰富的细节渲染。

    Jul, 2022

  • 视觉 Transformer：面向计算机视觉的基于令牌的图像表示和处理

    本文通过使用视觉 Transformer 在语义标记空间中密集地建模标记关系并减少卷积计算量，从而在 ImageNet top-1 和 LIP，COCO-stuff 图像分割测试上表现出了显着的优势。

    Jun, 2020