Apr, 2023

ViT-Calibrator：用于 Vision Transformer 决策流校准的工具

PDF
TL;DR本论文提出了一种名为 “Decision Stream Calibration” 的新范式，通过探索信息传播机制和多维相关性来提高视觉 Transformer 的性能，并设计了包括令牌传播校准阶段和尺寸传播校准阶段的两阶段校准方案「ViT-Calibrator」，在常用数据集上进行了广泛的实验，结果表明该方法可以取得良好的结果。
transformersvision tasksdecision stream calibrationinformation propagationvit-calibrator
发现论文，激发创造
  • 可扩展的视觉 Transformer

    本研究通过对 Vision Transformer 模型以及数据集的扩充和缩小，以及其误差率、数据和计算之间的关系进行表征，提高了模型的精度和训练效果，并最终成功训练出一个包含 20 亿参数的 ViT 模型，在 ImageNet 数据集上取得了 90.45% 的 top-1 精度。同时，ViT 模型能够在 few-shot transfer 任务中有良好表现，例如在每个类别只有 10 个示例的情况下，能够达到 84.86% 的 top-1 精度。

    Jun, 2021

  • 高效的视觉 Transformer 的令牌传播控制器

    使用视觉 Transformer（ViTs）处理图像问题存在显著的计算复杂度，本文提出了一种新的令牌传播控制器（TPC），通过考虑令牌分布和引入平滑机制以及模型稳定器来提高令牌利用率和模型稳定性。实验证明了该方法的有效性。

    Jan, 2024

  • 具有渐进采样的视觉 Transformer

    本研究提出一种迭代和渐进式采样策略，以定位具有区分性的区域，并与 Vision Transformer 结合起来，形成 PS-ViT 网络。该网络可自适应地学习何时观察图像的哪些区域，从而在 ImageNet 数据集上表现出比原始 ViT 网络高 3.8％的 top-1 准确性（使用约 4 倍的参数和 10 倍的运算次数）。

    Aug, 2021

  • 自瘦身视觉 Transformer

    该研究提出了一种基于 Token Slimming Module 和 Feature Recalibration Distillation 的自我瘦身学习方法（SiT），能够大幅减少 Vision Transformers 的计算负担，同时不会对其分类性能产生太大影响，并在 ImageNet 数据集上实现了新的最佳性能。

    Nov, 2021

  • 一个简单的单尺度视觉 Transformer 用于物体定位和实例分割

    本文提出了一种简单的视觉 Transformer 设计，作为目标定位和实例分割任务的强大基线，绕过传统设计思路，通过 UViT 架构实现更好的计算成本和多尺度全局上下文聚合的平衡。

    Dec, 2021

  • 关于组织切片级别分类神经网络的校准

    深度神经网络在数字病理学中的全切片图像中预测某些生物标志物时表现出有希望的分类性能，但网络输出概率的校准经常没有得到评估。在医学环境中，通过提供可靠的置信度评分来传达不确定性具有很高的相关性。在这项工作中，我们比较了三种神经网络结构，这些结构将修补水平上的特征表示与幻灯片级别的预测相结合，以评估它们的分类性能并评估其校准性。作为幻灯片级别分类任务，我们选择了结直肠癌组织切片中的微卫星不稳定性的预测。我们观察到，Transformers 在分类性能和校准方面表现出良好的结果。在对单独数据集进行分类性能评估时，我们观察到 Transformers 具有最好的泛化能力。对可靠性图进行调查能够提供对期望校准误差指标的额外见解，我们观察到特别是 Transformers 会将输出概率推至极值，这导致过于自信的预测。

    Dec, 2023

  • SPViT：通过软件 Token 剪枝加速视觉 Transformer

    通过利用输入令牌稀疏性并提出计算感知的软剪枝框架，可以大幅减少 Vision Transformer 计算成本，并满足移动设备和 FPGA 的资源规格要求，甚至在移动平台上实现 DeiT-T 的实时执行。

    Dec, 2021

  • 视觉 Transformers 是强大的学习器

    本文旨在研究 Vision Transformer 对常见的图像扰动、分布偏移和自然对抗样本的稳健性，并在六个不同的 ImageNet 数据集上与 SOTA 卷积神经网络进行性能比较，通过一系列六个系统设计的实验，提供了定量和定性的分析来解释 ViT 为什么是更加稳健的学习器。

    May, 2021

  • 视觉 Transformer 瘦身：连续优化空间中的多维度搜索

    本文介绍了一种名为 ViT-Slim 的视觉转换器压缩框架，基于可学习和统一的 l1 稀疏性约束搜索多个维度的子结构，通过预算阈值得到压缩后的模型，试验结果表明，ViT-Slim 可以在保持较高图像分类准确率的同时，将参数和 FLOP 压缩至 40%。

    Jan, 2022

  • 使用 Venn-ABERS 预测器校准自然语言理解模型

    本文提出了在少量假设条件下构建多个感知 - ABERS 预测器 (IVAP) 的方法，该方法基于预训练的 Transformers 模型，保证了其预测是良好校准的。我们在多个自然语言理解任务上测试了它们的性能，并展示了这些预测器的预测结果可以在 [0,1] 区间内均匀分布，同时仍保持原模型的预测准确性。

    May, 2022