ICCVAug, 2021

ConvNets 与 Transformers：哪个视觉表示更易转移？

PDF
TL;DR通过 15 项单任务和多任务性能评估，系统地研究了 ConvNets 和 vision transformers 的迁移学习能力，发现 vision transformers 在 13 个下游任务中表现出一致优势，并且更适合于多任务学习。
vision transformersconvnetstransfer learningmulti-task learningdownstream tasks
发现论文，激发创造
  • Vision Transformer 和卷积神经网络的视觉感知相似吗？

    研究比较了卷积神经网络和 Vision Transformer 模型在图像分类任务中的内部表示结构，发现两种架构存在显著差异，其中 self-attention 在加快全局信息聚合方面发挥着关键作用。此外，预训练数据集规模会对中间特征和迁移学习产生影响。

    Aug, 2021

  • 2020 年代用于 ConvNet（卷积神经网络）的神经网络

    本研究重新审视设计空间，逐步将标准 ResNet 现代化为 Vision Transformer 的设计，发现了几个关键组件，并发现纯 ConvetNets 模型家族 ConvNeXt 可以在精度和可伸缩性方面与 Transformer 竞争，在 ImageNet 的 top-1 准确率方面达到了 87.8％，并在 COCO 检测和 ADE20K 分割上优于 Swin Transformer 。

    Jan, 2022

  • 卷积神经网络或 Transformer 模型更像人类视觉？

    比较了卷积神经网络和注意力网络的性能差异，使用新的指标展示了注意力网络的错误更贴近于人类，这些结果对于构建更人类化的视觉模型以及理解视觉对象识别在人类中的意义具有意义。

    May, 2021

  • ViTs 随处可见：综合研究展示不同领域中的视觉 Transformer

    Transformer 设计是自然语言处理任务的事实标准，并且对计算机视觉领域的研究人员产生了兴趣。与卷积神经网络相比，基于 Transformer 的 Vision Transformers（ViTs）在许多视觉问题中变得更加流行和占主导地位。

    Oct, 2023

  • 一张图像胜过 16*16 个单词：规模下的图像识别变形金刚

    本文研究使用 Transformer 代替 CNN 进行图像分类，实现在计算资源少的情况下，取得比目前卷积网络更好的识别结果，从而在计算机视觉上取得突破。

    Oct, 2020

  • Vision Transformers 三要素

    本文提出了三种易于实现的视觉 Transformer 变体。第一，可以在不降低精度的情况下并行处理视觉 Transformer 的残差层。第二，对注意力层的权重进行微调就足以适应更高分辨率和其他分类任务，这节省了计算量，减少了微调时的峰值内存消耗，并允许跨任务共享大部分权重。第三，添加基于 MLP 的补丁预处理层，可提高基于补丁掩模的 Bert 式自监督训练效果。作者使用 ImageNet-1k 数据集评估了这些设计选择的影响，并在 ImageNet-v2 测试集上确认了研究发现。文章在六个较小的数据集上评估了转移性能。

    Mar, 2022

  • 通用卷积神经网络表示的可转移因素

    本文研究卷积神经网络的迁移学习，在多个视觉识别任务上通过优化训练参数和特征提取参数达到了显著提高。同时提出了根据任务与源任务的距离将视觉识别任务进行分类的方法。

    Jun, 2014

  • 基于视觉转换器的艺术鉴定

    这篇论文探讨了使用 Transformer 模型在艺术认证方面的应用，通过与 EfficientNet 模型的比较，发现 Vision Transformers 在艺术模拟品检测方面表现优秀，可提高计算机辅助艺术认证的可靠性。

    Jul, 2023

  • ImageNet 模型的表现是否与迁移学习相关？

    比较了 16 种分类网络在 12 个图像分类数据集上的性能表现，发现在使用网络作为固定特征提取器或微调时，ImageNet 准确度与转移学习准确度之间存在强烈的相关性，但是在微调时，ImageNet 的泛化能力较弱，获得了更差的特征。

    May, 2018

  • 纹理分析中视觉 Transformer 特征提取的比较调查

    该研究采用 21 个不同的预训练 Vision Transformer 架构，评估其在纹理识别中的性能，并与卷积神经网络和手工设计模型进行比较。结果显示，Vision Transformers 在纹理识别方面通常优于卷积神经网络和手工设计模型，尤其在使用更强的预训练和处理来自互联网的纹理任务时表现突出。其中，ViT-B with DINO pre-training，BeiTv2，Swin architecture 以及 EfficientFormer 被认为是更具潜力的模型。此外，尽管 GFLOPs 和参数数量较高，ViT-B 和 BeiT (v2) 在 GPU 上的特征提取时间比 ResNet50 更短，从而实现了更高的效率。

    Jun, 2024