本文探讨了视觉 transformer（ViT）网络在小规模数据集上的训练问题，提出了通过重新解释卷积神经网络（CNN）的架构偏差作为 ViT 的初始化偏差，使其在小规模问题上表现出色，并保持其在大规模应用中的灵活性，该方法在诸多基准数据集（包括 CIFAR-10、CIFAR-100 和 SVHN）上实现了最先进的数据高效 ViT 学习性能。

Apr, 2024

该研究提出了一种基于数据规模的感知偏差交替方法，通过将卷积和自注意力之间的重参数化插值来调整感知偏差。这种方法在小规模数据集上比之前的研究方法更优秀，如 CIFAR-100。

Oct, 2022

本研究提出了一种基于卷积神经网络的归纳偏差来加速模型收敛训练的方法，不再需要观像变换器（ViTs）使用大规模的预训练数据。实验结果表明，加入归纳偏差能够显著加速 ViTs 收敛速度并用更少的参数胜过传统 CNNs。

Dec, 2021

该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。

Nov, 2015

本文通过仔细研究 Transformers 的设计，发现在提高稳健性方面，使用卷积神经网络（CNNs）设计的架构同样有效。具体来说，我们的发现分别是：a）分块输入图像，b）增大卷积核尺寸，以及 c）减少激活层和归一化层的设计。我们的实验结果表明这三种设计的结合可以构建出实现简单，无需 attention-like 操作的卷积神经网络架构，其稳健性与甚至优于 Transformers。

Jun, 2022

在计算机视觉中使用的深度神经网络已被证明存在许多社会偏见，如性别偏见。视觉 Transformer（ViTs）在图像分类等许多任务中比卷积神经网络（CNNs）表现更出色。然而，鉴于在计算机视觉中减轻偏见的研究主要集中在 CNNs 上，评估不同网络架构对偏见放大潜力的影响是重要的。因此，本文引入了一种新的度量方法来衡量架构中的偏见，即准确率差异。我们评估了这两种架构属于大型多模态模型的一部分时，偏见放大的情况，并评估了对比性语言图像预训练的不同图像编码器。我们的实验表明，由于在特征提取和嵌入以及不同的学习属性方面采用的不同技术，架构可以在放大社会偏见方面发挥作用。本研究发现，与 CNNs 相比，ViTs 更容易放大性别偏见。

Sep, 2023

本文研究使用自监督任务和少量数据进行训练的 Visual Transformer 网络的表现，并发现新的自监督任务可以在空间关系方面鼓励 VT 网络，从而显著提高其小数据集准确性。

Jun, 2021

该研究提出了一种新颖的基于蒸馏的方法，用于训练视觉 transformers，并取得了比先前同等架构的 transformers 更好的性能，该方法的关键是使用具有不同归纳偏差的轻量级 teachers 来共同指导 student transformer，从而实现不同的知识交汇和提升。

Jun, 2021

本篇研究介绍如何以有限数据训练 Vision Transformers，并探讨使用基于参数实例鉴别方法的理论分析。结果表明，该方法优于其他方法，可捕捉特征对齐和实例相似性，并在多个 ViT 基础下从头开始训练 7 个小数据集，取得了最新的测试结果。此外，该研究还探讨了小型数据集的迁移能力，并发现从小型数据集中学习的表示甚至可以改善大规模 ImageNet 的训练结果。

Jan, 2022

我们将视觉 Transformer 解释为具有动态卷积的 ConvNets，并在统一框架中比较它们的设计选择，证明了视觉 Transformer 可以以 ConvNets 的设计空间为参考，从而指导网络设计，并展示了如何通过更换激活函数和创建效率更高的深度视觉 Transformer 来提高性能和收敛速度。该统一解释不仅仅适用于给定的示例，希望能够激发社区并产生更先进的网络架构。

Sep, 2023