CVPRDec, 2022

教学至关重要：探讨监督在视觉 Transformer 中的作用

PDF
TL;DR研究显示 ViTs 在不同的学习方法下能够学习不同的行为，并发现了一些在不同学习方法下相似的 ViT 行为，比如 Offset Local Attention Heads。同时发现对比自监督方法学习的特征与显式监督方法学习的特征竞争力相当，并且在某些情况下对于部分任务还优于显式监督方法。此外，基于重构模型的表示与对比自监督模型的表示存在非平凡的相似性。
vision transformerssupervised learningself-supervised learningattentiondownstream performance
发现论文，激发创造
  • 自我监督视觉 Transformer 训练的实证研究

    本文研究的是计算机视觉中的自监督学习，探究了一些基本组件对自监督 ViT 训练的影响，发现稳定性是一个重要的问题，本文通过案例研究表明了部分成果实际上是不完全的失败，并探讨了当前的积极证据、挑战和开放问题。

    Apr, 2021

  • 视觉 Transformer 需寄存器

    提供额外的令牌以填补低信息背景区域中高范数令牌的内部计算，从而修复监督和自监控模型的问题，实现密集视觉预测任务的自监控视觉模型的最新技术，使用更大模型进行对象发现，为下游视觉处理提供更平滑的特征图和注意力图。

    Sep, 2023

  • 视觉 Transformer 的引人注目的性质

    本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

    May, 2021

  • 自我监督的少样本变换器

    本研究探讨了视觉变换器 (ViT) 在少样本学习中的能力，发现在相同的少样本学习框架下，用 ViT 模型替换常用的 CNN 特征提取器会严重削弱少样本分类性能；本研究提出了一种名为 Self-promoted sUpervisioN (SUN) 的简单而有效的 ViT 少样本训练框架，用于改善 token 依赖性问题，并通过实验证明了 SUN 优于其他同类技术，并超过了 CNN 的最新研究成果。

    Mar, 2022

  • 理解视觉 Transformer 中的鲁棒性

    本研究阐述 Vision Transformers（ViTs）在自我关注机制的作用下，实现了对多种数据干扰的强大稳健性，并且提出了一族全注意网络（FANs），以加强注意通道处理设计的能力。我们的模型在 ImageNet-1k 和 ImageNet-C 上达到了 87.1％的最新准确度和 35.8％的 mCE，并且在两个下游任务中实现了最新的准确性和稳健性：语义分割和物体检测。

    Apr, 2022

  • 视觉 Transformer 的最新进展：近期研究的综述和展望

    本文介绍了近期表现最佳的 Vision Transformers 方法，对其强弱项、计算成本、训练和测试数据集进行了全面综述，并在流行基准数据集上与各种 ViT 算法以及代表性 CNN 方法的性能进行了充分比较，最后讨论了一些局限性和提出了未来研究方向。

    Mar, 2022

  • 自监督视觉 Transformer 中的新兴特性

    本研究探讨自监督学习是否为 Vision Transformer (ViT) 提供了与卷积网络 (convnets) 相比更为突出的新特性，发现自监督 ViT 特征明确包含图像的语义分割信息，在 ImageNet 数据集中取得了 78.3% 的 top-1 准确率，并将这些发现用于自监督方法 DINO 中，通过线性评估，使 ViT-Base 在 ImageNet 数据集中取得了 80.1% 的 top-1 准确率。

    Apr, 2021

  • 分析自监督视觉变压器的局部表征

    自本文中，我们对各种自监督视觉变换器（ViTs）进行了比较分析，重点研究了它们的局部代表能力。我们设计了一个评估框架，分析了在少样本语义分割、实例识别、目标检索和跟踪等背景下的局部表示质量。我们发现，基于对比学习的方法如 DINO 产生了更通用的局部表示，可以立即应用于无参数调整的下游任务，而掩蔽图像建模的方法中学习的嵌入具有高方差特征，对于大多数下游任务没有有用信息。此外，通过对本工作的基准和 Scale-MAE 的分析，我们证明了移除这些高方差特征对 k-NN 算法的改进。最后，我们发现 DINOv2 在多训练数量级的数据上预训练的模型在物体实例检索方面表现比计算消耗较小的 DINO 模型更差。

    Dec, 2023

  • 视觉 Transformer 是否比新生儿视觉系统更需要数据？

    视觉变换器 (ViTs) 是许多计算机视觉基准测试的最佳模型，可以准确预测对象识别任务上的人类行为。然而，研究人员对使用 ViTs 作为生物学习模型的价值产生了质疑，因为人们认为 ViTs 需要比大脑更多的训练数据才能达到类似的性能水平。为了测试这个假设，我们通过对 ViTs 和新生小鸡进行平行控制饲养实验，直接比较了它们的学习能力。当 ViTs 在新生小鸡的视角下进行训练时，ViTs 能够解决与小鸡相同的视角不变的对象识别任务。因此，ViTs 并不比新生视觉系统更加贪婪于数据：在贫乏的视觉环境中，两者都学习到了视角不变的对象表示。ViTs 的灵活和通用的基于注意力的学习机制与新生动物可用的具体数据流似乎足以推动动物样的对象识别的发展。

    Dec, 2023

  • DeiT III：ViT 的复仇

    本文改进了一种用于训练 Vision Transformer (ViT) 的全监督训练方法，通过仅使用三种数据增强方式，此方法优于之前的全监督训练方法，并且在图像分类、迁移学习和语义分割等任务中表现出色，同时也为 ViT 的自我监督方法提供了更好的基线。

    Apr, 2022