ECCVMar, 2023

四边形注意力视觉 Transformer

PDF
TL;DR该研究提出了一种新颖的四边形注意力（QA）方法，将基于窗口的注意力扩展为一般的四边形公式，并将其整合到平面和分层视觉变换器中，提出了一种新的架构 QFormer，可用于分类、目标检测、语义分割和姿态估计等各种视觉任务，且具有较小的代码修改和可忽略的额外计算成本。
window-based attentionquadrangle attentionvision transformerstoken samplingqformer
发现论文，激发创造
  • 用于高效本地注意力的学习查询

    本文提出了一种名为 query and attend（QnA）的新型 shift-invariant local attention 层，将其并入分层视觉 transformer 模型，并证明其在速度和内存复杂度方面的改善，同时又能实现与最先进的模型相当的准确度。

    Dec, 2021

  • 四叉树注意力视觉 Transformer

    通过部分 Attention 性能的提升，QuadTree Attention 可以有效实现对密集预测的视觉任务，如物体检测和特征匹配，将计算复杂度从二次降至线性，具有比以往转换器更高的性能。

    Jan, 2022

  • 扁平 Transformer：使用专注线性注意力的视觉 Transformer

    我们提出了一种新颖的线性关注模块，通过引入简单但有效的映射函数和高效的排名恢复模块，提高了自注意力的表达能力，同时保持了低计算复杂度。大量实验证明，我们的线性关注模块适用于各种先进的视觉 Transformer，并在多个基准测试中实现了持续改进的性能。

    Aug, 2023

  • AxWin Transformer: 一个具有轴向窗口的上下文感知视觉 Transformer 主干

    提出了 AxWin Attention，结合局部窗口和轴向视图，将上下文信息建模在局部和全局信息上；并基于 AxWin Attention 开发了上下文感知的视觉 Transformer，名为 AxWin Transformer，其在分类和下游分割检测任务中优于现有技术方法。

    May, 2023

  • R3D-SWIN：应用移位窗口注意力进行单视角三维重建

    最近，视觉变换器在各种计算机视觉任务中表现出色，包括体素三维重建。然而，视觉变换器的窗口不是多尺度的，并且窗口之间没有连接，这限制了体素三维重建的准确性。因此，我们提出了一种移位窗口注意力体素三维重建网络。据我们所知，这是第一个将移位窗口注意力应用于体素三维重建的工作。在 ShapeNet 上的实验结果验证了我们的方法在单视图重建方面达到了 SOTA 准确性。

    Dec, 2023

  • 动态分组变换器：具有动态分组注意力的通用视觉变换器骨干网络

    该论文提出了一种动态分组注意力 (DG-Attention) 和一个通用的 DGT 视觉转换器的背景，可以在多个常见的视觉任务中超越现有技术，并动态地将所有查询分成多个组，为每个组选择最相关的密钥 / 值。

    Mar, 2022

  • DualFormer：面向高效视频识别的分层局部全局 Transformer

    本文提出了一种新型的 Transformer 架构 DualFormer 用于视频识别，此架构可以有效地处理空间 - 时间关注，能够捕捉短距离和长距离的时空依赖关系，并通过本地 - 全局层次划分策略显著减少注意力计算中的关键值个数，从而提高效率并在五个视频基准测试上验证了 DualFormer 的优越性能。

    Dec, 2021

  • SASQuaTCh：一种带有基于核的自注意力的新型变分量子变换器架构的学习

    利用基于核操作学习的自我注意力机制的量子电路，我们提出了 Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh) 模型，该模型能够有效地表示视觉变换网络的深层特征，并展示其在简化分类问题上的实用性。

    Mar, 2024

  • 语言主导 QFormer 用于高效的视觉语言理解

    通过采用更高效的方法，我们提出了基于 QFormer 的图像 - 语言对齐策略，并证明了与现有基准方法相比，我们的策略在提高图像 - 语言预训练效率方面的有效性。

    Nov, 2023

  • StarVQA+: 视频质量评估的时空注意共训练

    本文提出了一种基于自注意力机制的 Space-Time Attention 网络用于解决视频质量评估问题，通过联合训练空间和时间注意力权重来解决 Transformer 中的数据饥饿问题，并在实际测试中证明了其优越性。

    Jun, 2023