Dec, 2019

大规模迁移（BiT）：通用视觉表征学习

PDF
TL;DR本文探讨了在计算机视觉问题中使用预训练模型和迁移学习进行优化的方法，提出了一种名为 Big Transfer（BiT）的简单而强大的预训练方法，该方法结合了几个精心选择的组件，并使用简单的启发式方法进行转移，使得在 20 多个数据集上实现了良好表现。
发现论文，激发创造
  • 图像作为外语：BEiT 预训练模型用于所有视觉和视觉语言任务

    本文介绍了通用的多模态基础模型 BEiT-3，通过三个方面的改进：骨干架构、预训练任务和模型扩展，实现了在视觉和视觉语言任务上的最先进转移性能。

    Aug, 2022

  • 在一个统一的少样本分类基准上比较迁移学习和元学习方法

    本研究对元学习和迁移学习两种方法在小样本学习领域的应用进行了交叉研究，以 Meta-Dataset 和 Visual Task Adaptation Benchmark 两个基准测试集进行了测试，发现大规模的迁移学习方法表现最佳。

    Apr, 2021

  • BEiT: 图像 Transformer 的 BERT 预训练

    本研究介绍了一种名为 BEiT 的自监督视觉表示模型，使用双向编码器表示图像转换器并进行了预训练，效果显著。

    Jun, 2021

  • BiRT: 面向视觉 Transformer 的生物启发式重放以实现连续学习

    本文提出了一种基于视觉转换器的表示重复的持续学习方法 BiRT，使用构造性噪声和指数移动平均模型实现预测的一致性，并在多个有挑战性的连续学习基准上提供持续的性能增益。

    May, 2023

  • 基于视觉任务适应基准的表示学习的大规模研究

    通过自我监督、生成模型等方法训练的视觉特征表示可以非常好的通用于各种不同的视觉任务，并且对于一些任务可以取代需要大量标注数据的监督学习方法

    Oct, 2019

  • Bi-ViT: 推动视觉 Transformer 量化极限

    介绍一种专门用于大规模预训练模型在硬件受限设备上快速部署的量化方法，并提出一种基于可训练缩放因子和排名感知蒸馏的 Binarized ViT 模型。该方法在 ImageNet 等数据集上都取得了较高的 Top-1 准确率，并在 FLOPs 方面获得了显著的理论加速。

    May, 2023

  • BiViT: 二值化视觉转换器的极度压缩

    本研究提出了针对视觉 Transformers 的二值化方法，其中包括了对 softmax attention 的优化，采用 Cross-layer Binarization 和引入可学习的通道缩放因子等技巧，最终实现了在 TinyImageNet 和 ImageNet 中超越现有技术并取得最佳效果。

    Nov, 2022

  • 基于预训练表示的可推广模仿学习

    利用自我监督的视觉变换模型及其新出的语义能力，通过聚类外观特征来形成稳定的关键点，从而改善模仿学习策略的泛化能力。本论文介绍了 BC-ViT，一种利用富含 DINO 预训练视觉变换器（ViT）补丁级嵌入的模仿学习算法，以通过示范获取更好的泛化效果。通过对一个多样化的物体操作任务数据集进行模仿学习的评估，证明了这种表示方式能够实现广义行为。为了促进对于模仿学习中泛化问题的进一步研究，我们提供了我们的方法、数据和评估方法。

    Nov, 2023

  • ConvNets 与 Transformers：哪个视觉表示更易转移？

    通过 15 项单任务和多任务性能评估，系统地研究了 ConvNets 和 vision transformers 的迁移学习能力，发现 vision transformers 在 13 个下游任务中表现出一致优势，并且更适合于多任务学习。

    Aug, 2021

  • 视觉 Transformers 是强大的学习器

    本文旨在研究 Vision Transformer 对常见的图像扰动、分布偏移和自然对抗样本的稳健性，并在六个不同的 ImageNet 数据集上与 SOTA 卷积神经网络进行性能比较，通过一系列六个系统设计的实验，提供了定量和定性的分析来解释 ViT 为什么是更加稳健的学习器。

    May, 2021