Nov, 2023

TVT: 在小数据集上无需训练的视觉 Transformer 搜索

PDF
TL;DR本文提出了一种无需训练的视觉 Transformer（ViT）架构搜索方法，通过使用教师模型，利用具有零成本代理的方式搜索更好的 ViT，并在各种小型数据集和搜索空间上展开了大量实验，证明了该方法优于现有的无训练搜索方法。
training-free vision transformerzero-cost proxiesdistillation trainingattention mapsl2-norm
发现论文，激发创造
  • 无需训练的 Transformer 架构搜索

    本文提出了一种训练无需的 Transformer 架构搜索方法，使用 DSS 指标评估 ViT 架构的突触多样性和突触显著性，从而大大提高了在 ViT 搜索空间的效率，并取得了与手动设计和自动设计的 ViT 架构一样好的性能表现。

    Mar, 2022

  • TinyViT：小型视觉 Transformer 的快速预训练蒸馏

    TinyViT 是一种新型的、基于快速蒸馏框架的小型视觉 Transformer，通过使用蒸馏预训练模型的知识迁移以及对计算和参数进行限制，能够在减少参数数量的情况下依然具有较高的准确性，并且能够在多种下游任务中得到很好的转移效果。

    Jul, 2022

  • ViTAS: 视觉 Transformer 架构搜索

    本文提出了 ViTAS 方法，其中使用循环权重共享机制和身份移位来解决目标嵌入的失衡问题，并辅以弱数据增强和规范化技术，以获得稳定的训练结果。实验证明，与其他常用方法相比，ViTAS 取得了极高的性能提升。

    Jun, 2021

  • 从 CNN 提炼高效的视觉 Transformer 用于语义分割

    我们提出了一种 CNN 到 ViT 知识蒸馏框架，包括视觉语言特征蒸馏模块 (VLFD) 和像素级解耦蒸馏模块 (PDD)，实验证明我们的方法在三个语义分割基准数据集上的 mIoU 增量是最先进知识蒸馏方法的 200% 以上。

    Oct, 2023

  • Auto-Prox: 通过自动代理发现的无需训练的视觉 Transformer 架构搜索

    通过自动代理发现框架 Auto-Prox，我们介绍了一种训练免费的方法来进行 Vision Transformer（ViT）的体系结构搜索。广泛的实验表明，我们的方法在不同数据集上都具有很好的泛化能力，并在排名相关性和最终准确性方面取得了最先进的结果。

    Dec, 2023

  • 使用小数据集高效训练视觉 Transformer

    本文研究使用自监督任务和少量数据进行训练的 Visual Transformer 网络的表现，并发现新的自监督任务可以在空间关系方面鼓励 VT 网络，从而显著提高其小数据集准确性。

    Jun, 2021

  • DeiT III：ViT 的复仇

    本文改进了一种用于训练 Vision Transformer (ViT) 的全监督训练方法，通过仅使用三种数据增强方式，此方法优于之前的全监督训练方法，并且在图像分类、迁移学习和语义分割等任务中表现出色，同时也为 ViT 的自我监督方法提供了更好的基线。

    Apr, 2022

  • 用仅 2040 张图片训练视觉 Transformer

    本篇研究介绍如何以有限数据训练 Vision Transformers，并探讨使用基于参数实例鉴别方法的理论分析。结果表明，该方法优于其他方法，可捕捉特征对齐和实例相似性，并在多个 ViT 基础下从头开始训练 7 个小数据集，取得了最新的测试结果。此外，该研究还探讨了小型数据集的迁移能力，并发现从小型数据集中学习的表示甚至可以改善大规模 ImageNet 的训练结果。

    Jan, 2022

  • LightViT: 轻量化无卷积视觉 Transformer

    本研究提出了一种名为 LightViT 的轻量化 transformer 网络，通过全局有效聚合策略结合注意力机制和多维度的通道 / 空间注意力机制来捕捉全局依赖信息，从而实现更好的准确性和效率平衡。实验证明，该模型在图像分类、目标检测和语义分割任务中均取得了显著的提升。

    Jul, 2022

  • 统一视觉 Transformer 压缩

    本论文提出了一种统一的 ViT 压缩框架，其中使用了修剪、跳跃层和知识蒸馏等三种有效技​​​​术，经过在 ImageNet 数据集上的实验验证，我们的方法在保证精度的前提下有效压缩 Vision Transformers，比目前已有的压缩方法表现更优。

    Mar, 2022