Nov, 2023

窗口关注存在漏洞：如何不插入位置嵌入

PDF
TL;DR在现代计算机视觉转换器时代，窗口注意力、位置嵌入和高分辨率微调是核心概念。然而，我们发现，天真地结合这些几乎无处不在的组件可能会对性能产生不利影响。我们研究了两种具有这三个组件的最先进方法，即 Hiera 和 ViTDet，发现两者都确实遭受了这个错误的困扰。为了解决这个问题，我们引入了一种简单的绝对窗口位置嵌入策略，在 Hiera 中彻底解决了该错误，并允许我们在 ViTDet 中提高模型的速度和性能。最后，我们将两者结合起来得到 HieraDet，在 COCO 上实现了 61.7 的盒子 mAP，成为仅使用 ImageNet-1k 预训练的模型的最先进技术。这一切都源自本质上是一个三行错误修复，我们将其命名为 “绝对获胜”。
window attentionposition embeddingshigh resolution finetuninghieradetcoco
发现论文，激发创造
  • 双窗口训练高分辨率视觉 Transformer

    高效训练和推理高分辨率视觉 Transformer 模型的新策略是只保留 N 个随机窗口的高分辨率输入，通过学习窗口内的标记间的局部交互和窗口间的全局交互，模型能够直接处理高分辨率输入。这种策略在使用相对位置嵌入（如旋转嵌入）时表现出了显著的有效性，训练速度是全分辨率网络的 4 倍，而且与现有方法相比使用起来更加简单。将此策略应用于语义分割等密集视觉任务中，发现使用 2 个窗口的简单设置效果最佳，因此命名为 Win-Win 方法。将此策略进一步扩展到光流等双目任务中，达到了在 Spring 基准测试中超越最佳竞争对手一个数量级更快推理时间的最先进性能。

    Oct, 2023

  • LookHere: 有向注意力的视觉 Transformer 进行泛化和外推

    我们提出了一种名为 LookHere 的新方法，用于限制 2D 注意力掩码中的固定视野的注意力头，提供平移等变性，确保注意力头的多样性，并限制注意力头在外推时面临的分布偏移，从而改善图像分类、对抗攻击和校准误差的性能。该方法在 ImageNet 数据集上进行了测试，结果显示 LookHere 在高分辨率图像分类任务中表现优于当前位置编码方法 2D-RoPE。

    May, 2024

  • 相对位置表示的自注意力

    本研究通过在自我关注机制中引入对序列元素相对位置或距离的表示，比绝对位置表示获得了更好的机器翻译结果。同时，将相对位置表示和绝对位置表示相结合并不能进一步提高翻译质量。

    Mar, 2018

  • 使用更好的相对位置嵌入改进 Transformer 模型

    本文提出基于自我关注机制的绝对位置嵌入和相对位置嵌入方法，通过增加查询、键和相对位置嵌入之间的交互，进一步优化了位置信息的利用。其最有前途的一种方法是将绝对位置嵌入泛化，相比之前的位置嵌入方法，在 SQuAD1.1 上有更好的表现。本文还通过实验证明了相对位置嵌入方法具有合理的泛化性和鲁棒性。最后，还展示了这种新方法可以用于在小的计算预算下提高大型模型的准确性。

    Sep, 2020

  • 超越固定关注窗口：动态窗口视觉变换器

    本文介绍了一种名为动态窗口视觉 Transformer (DW-ViT) 的新型方法，其采用动态多尺度窗口对模型性能的影响进行了探索，并通过对三个数据集的详细性能评估，与相关的最新技术方法相比，DW-ViT 表现出最佳性能。

    Mar, 2022

  • 使用有效接受字段理解视觉变换器的高斯注意偏差

    本研究提出了一种使用高斯注意偏差来指导位置嵌入的方法，以提高视觉转换器（ViTs）在图像分类、目标检测和语义分割等任务中的性能。研究表明，使用这种方法不仅有助于 ViT 理解图像，还提高了在各种数据集上的性能。

    May, 2023

  • 窗口化注意力在图像压缩中的应用

    本文提出了一种基于 Transformer 和注意力机制的对称变压器框架，其中融合了局部感知机制和全局相关特征学习，在图像压缩方面表现出更好的效果。

    Mar, 2022

  • R3D-SWIN：应用移位窗口注意力进行单视角三维重建

    最近，视觉变换器在各种计算机视觉任务中表现出色，包括体素三维重建。然而，视觉变换器的窗口不是多尺度的，并且窗口之间没有连接，这限制了体素三维重建的准确性。因此，我们提出了一种移位窗口注意力体素三维重建网络。据我们所知，这是第一个将移位窗口注意力应用于体素三维重建的工作。在 ShapeNet 上的实验结果验证了我们的方法在单视图重建方面达到了 SOTA 准确性。

    Dec, 2023

  • 通过分解位置向量探索大型语言模型的上下文窗口

    通过分析位置向量对注意力的形成和影响，我们设计了两种无需训练的上下文窗口扩展方法，即位置向量替换和注意力窗口扩展。实验结果表明，我们的方法可以有效地扩展上下文窗口的长度。

    May, 2024

  • DropPos: 基于重构被删除位置的预训练视觉变换器

    对于 Vision Transformers 来说，Droppos 是一种新颖的自我监督任务，它通过增强位置感知能力来提升模型性能。Droppos 通过随机丢弃一部分位置嵌入，根据视觉外观分类具体位置，采用位置平滑和注意力重构策略来解决类别相似性问题，实验结果表明 Droppos 在各类基准测试上表现出色，与现有的自我监督方法相比具有竞争力。

    Sep, 2023