Jan, 2022

用仅 2040 张图片训练视觉 Transformer

PDF
TL;DR本篇研究介绍如何以有限数据训练 Vision Transformers，并探讨使用基于参数实例鉴别方法的理论分析。结果表明，该方法优于其他方法，可捕捉特征对齐和实例相似性，并在多个 ViT 基础下从头开始训练 7 个小数据集，取得了最新的测试结果。此外，该研究还探讨了小型数据集的迁移能力，并发现从小型数据集中学习的表示甚至可以改善大规模 ImageNet 的训练结果。
vision transformersconvolutional neural networkslimited dataparametric instance discriminationsmall datasets
发现论文，激发创造
  • 使用小数据集高效训练视觉 Transformer

    本文研究使用自监督任务和少量数据进行训练的 Visual Transformer 网络的表现，并发现新的自监督任务可以在空间关系方面鼓励 VT 网络，从而显著提高其小数据集准确性。

    Jun, 2021

  • 小规模数据上轻量级视觉变形器的预训练与图像最小缩放

    轻量级视觉 Transformer（ViT）可以通过预训练和最小的图像缩放，实现优于 ResNet 等卷积神经网络在小数据集和小图像分辨率上的性能，而不需要显著地增大图像。

    Feb, 2024

  • 引导 ViT：解放视觉 Transformer 从预训练中

    本研究提出了一种基于卷积神经网络的归纳偏差来加速模型收敛训练的方法，不再需要观像变换器（ViTs）使用大规模的预训练数据。实验结果表明，加入归纳偏差能够显著加速 ViTs 收敛速度并用更少的参数胜过传统 CNNs。

    Dec, 2021

  • Vision Transformers 的数据、增强和正则化训练

    本文通过系统的实证研究，发现增加计算资源和数据增强可以弥补 Vision Transformers 学习小规模数据时的归纳偏差，从而实现与大规模数据学习相同精度的效果。我们在 ImageNet-21k 数据集上训练了不同规模的 ViT 模型，比大规模数据集 JFT-300M 上的同类模型表现更好。

    Jun, 2021

  • ViTs 随处可见：综合研究展示不同领域中的视觉 Transformer

    Transformer 设计是自然语言处理任务的事实标准，并且对计算机视觉领域的研究人员产生了兴趣。与卷积神经网络相比，基于 Transformer 的 Vision Transformers（ViTs）在许多视觉问题中变得更加流行和占主导地位。

    Oct, 2023

  • 纹理分析中视觉 Transformer 特征提取的比较调查

    该研究采用 21 个不同的预训练 Vision Transformer 架构，评估其在纹理识别中的性能，并与卷积神经网络和手工设计模型进行比较。结果显示，Vision Transformers 在纹理识别方面通常优于卷积神经网络和手工设计模型，尤其在使用更强的预训练和处理来自互联网的纹理任务时表现突出。其中，ViT-B with DINO pre-training，BeiTv2，Swin architecture 以及 EfficientFormer 被认为是更具潜力的模型。此外，尽管 GFLOPs 和参数数量较高，ViT-B 和 BeiT (v2) 在 GPU 上的特征提取时间比 ResNet50 更短，从而实现了更高的效率。

    Jun, 2024

  • 预训练的 ViT 模型在医疗图像中得到了多用途的表示

    本研究探讨了视觉 Transformer 在医学图像分类中的优劣，并发现使用预训练模型时，视觉 Transformer 可以与卷积神经网络媲美，成为 CNN 的一种可行替代方法。

    Mar, 2023

  • 视觉 Transformer 中的结构化初始化注意力

    本文探讨了视觉 transformer（ViT）网络在小规模数据集上的训练问题，提出了通过重新解释卷积神经网络（CNN）的架构偏差作为 ViT 的初始化偏差，使其在小规模问题上表现出色，并保持其在大规模应用中的灵活性，该方法在诸多基准数据集（包括 CIFAR-10、CIFAR-100 和 SVHN）上实现了最先进的数据高效 ViT 学习性能。

    Apr, 2024

  • 视觉 Transformer 的最新进展：近期研究的综述和展望

    本文介绍了近期表现最佳的 Vision Transformers 方法，对其强弱项、计算成本、训练和测试数据集进行了全面综述，并在流行基准数据集上与各种 ViT 算法以及代表性 CNN 方法的性能进行了充分比较，最后讨论了一些局限性和提出了未来研究方向。

    Mar, 2022

  • MobileViT：轻量级、通用、面向移动的视觉 Transformer

    本文提出了一种 MobileViT 轻量级通用视觉变换器，将 transformers 视为卷积，可用于移动设备，取得了比 CNN 和 ViT 更好的性能，特别是在对象检测任务上。

    Oct, 2021