Aug, 2023

拉普拉斯变换器：克服视觉变压器在局部纹理检测中的局限

PDF
TL;DRVision Transformer 模型中存在难以捕捉图像高频组件的局限性，本文提出了一种名为 Laplacian-Former 的技术来通过自适应重新校准 Laplacian 金字塔中的频率信息来增强自注意力图，并通过有效的增强多尺度桥梁将空间信息从编码器传递到解码器，从而在语义分割任务中实现有效的肿瘤和皮肤病变分割。
发现论文，激发创造
  • RegionViT: 基于区域到局部的视觉转换器注意力机制

    本文提出了一种采用金字塔结构和新的区域到局部注意力的视觉 transformer（ViT）架构，可以在图像分类和目标检测等四个任务上优于目前最先进的视觉 transformer（ViT）变体。

    Jun, 2021

  • 纹理分析中视觉 Transformer 特征提取的比较调查

    该研究采用 21 个不同的预训练 Vision Transformer 架构，评估其在纹理识别中的性能，并与卷积神经网络和手工设计模型进行比较。结果显示，Vision Transformers 在纹理识别方面通常优于卷积神经网络和手工设计模型，尤其在使用更强的预训练和处理来自互联网的纹理任务时表现突出。其中，ViT-B with DINO pre-training，BeiTv2，Swin architecture 以及 EfficientFormer 被认为是更具潜力的模型。此外，尽管 GFLOPs 和参数数量较高，ViT-B 和 BeiT (v2) 在 GPU 上的特征提取时间比 ResNet50 更短，从而实现了更高的效率。

    Jun, 2024

  • 基于傅里叶域分析的深度视觉变换器中的防过度平滑技术：从理论到实践

    本研究针对 Vision Transformer 深度增加时性能达到饱和的问题提出了两种有效而无需超参数的技术 AttnScale 和 FeatScale，能够有效克服与注意力折叠和补丁均匀性等相关的 ViT 训练伪像。

    Mar, 2022

  • 在小数据集上通过本地归纳偏置引入提高视觉 Transformer 的性能

    本文提出基于自注意力块的局部信息增强模块 LIFE，通过提取补丁级别的局部信息并将其合并到 ViTs 的嵌入中，在小尺寸图像分类数据集上改进了 ViTs 的性能，并将其推广到目标检测和语义分割等下游任务，在此基础上，引入了一种新的可视化方法 —— 密集注意力 Roll-Out，特别适用于密集预测任务。

    May, 2023

  • 重新审视高频组件，提高视觉 Transformer 的性能

    本研究通过频率分析发现 Vision Transformer 对高频图像部分不足，从而提出了基于对抗训练的高频数据增强方法 (HAT)，可显著提升 Vision Transformer 模型的性能并适用于下游任务。

    Apr, 2022

  • LocalViT: 将局部性带入视觉 Transformer

    通过引入深度卷积来将局部性机制引入视觉变换器中，结果显示，在 ImageNet2012 分类任务上，增强了局部性的转换器在不增加参数和计算努力的情况下，优于基线模型 DeiT-T 和 PVT-T 达 2.6% 和 3.1%。

    Apr, 2021

  • 改进的 EATFormer：用于医学图像分类的视觉 Transformer

    本文提出了一种基于进化算法的改进型 Transformer 架构，用于医学图像分类。该架构在 Convolutional Neural Networks 和 Vision Transformers 的基础上结合了它们的优势，利用它们在数据中识别模式和适应特定特征的能力。实验结果表明，与基准模型相比，所提出的 EATFormer 显著改善了预测速度和准确性。

    Mar, 2024

  • 视觉 Transformer 的引人注目的性质

    本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

    May, 2021

  • 快速视觉 Transformer 模型：具有分层注意力机制

    本文介绍了一种新的卷积神经网络和可见 - 感知变换神经网络的混合模型 ——FasterViT，利用 HAT 方法分层降低全局自注意力的计算复杂度，提高图像处理的吞吐量和效率。FasterViT 在各种计算机视觉任务中得到了广泛的验证，并表现出比竞争对手更快，更准确的性能。

    Jun, 2023

  • EFormer：专注于肖像抠图前景语义轮廓特征的增强 Transformer

    我们提出了 EFormer 方法，用于增强模型对语义和轮廓特征的注意力，特别是后者，通过建立语义和轮廓探测器 (SCD) 来准确捕捉它们的分布，最终通过融合这两种特征生成预测的肖像 alpha matte。实验表明，EFormer 方法在肖像抠图任务中优于之前的方法。

    Aug, 2023