GTA：一种面向几何的多视角 Transformer 的注意机制

Oct, 2023

GTA：一种面向几何的多视角 Transformer 的注意机制

GTA: A Geometry-Aware Attention Mechanism for Multi-View Transformers

Takeru Miyato, Bernhard Jaeger, Max Welling, Andreas Geiger

TL;DR通过提出一种几何感知注意机制 (Geometric Transform Attention, GTA) 来对几何结构进行编码，改进了基于 Transformer 的多视角合成模型的学习效率和性能，无需额外学习参数且计算开销较小。

Abstract

As transformers are equivariant to the permutation of input tokens, encoding the positional information of tokens is necessary for many tasks. However, since existing positional encoding schemes have been initial

transformers positional encoding 3d vision tasks geometry-aware attention mechanism geometric transform attention (gta)

发现论文，激发创造

教授 Transformer 多视图几何的轻触方法

本论文提出了使用极线来引导转换器的跨关注映射，以指导 Transformer 学习多视角几何，并在需要时使其突破自由。实验证明，我们的方法在对象检索方面优于现有技术，而无需在测试时提供姿态信息。

Nov, 2022

Transformer 的广义注意机制和相对位置

本文提出了广义注意力机制 (GAM)，揭示了 Vaswani 等人的自注意力机制的新解释，提供了不同变体注意力机制和 GAM 框架中的新相对位置表示，并可简单应用于不同数据集中元素的不同位置的情况。

Jul, 2022

多视角三维重建的长程分组变换器

基于 Transformer 的多视角三维重建算法中，引入长距离分组注意力机制（LGA）以处理来自不同视角的复杂图像令牌，从而提高模型学习效果，并通过进阶上采样解码器实现相对高分辨率的体素生成，实验结果验证了该方法在多视角重建中达到了 SOTA 准确性。

Aug, 2023

GTA：从对象中心表示中引导空间注意力的传输

通过对 ViT 中的注意力图进行实验分析，我们观察到当在小数据集上训练时，丰富的表示能力会恶化。受此发现启发，我们提出了一种名为 GTA 的新颖简单的 ViT 正则化方法，这种方法通过显式正则化源模型和目标模型之间的自注意力图，使目标模型能充分利用与目标定位属性相关的知识。我们的实验结果表明，当训练数据数量较少时，所提出的 GTA 在五个基准数据集上都能稳定提高准确性。

Jan, 2024

面向 TextVQA 的空间感知多模态 Transformer

本研究提出了基于 TextVQA 任务的一种新型空间感知自注意力模型，可以有效地推理图像中的文本内容，改进了 TextVQA 和 ST-VQA 两个关键指标，同时为视觉绑定的研究方向提供了新的思路。

Jul, 2020

几何感知神经渲染

本文介绍了一种通过 Epipolar Cross Attention 实现的神经渲染方法，可以学习复杂的高维场景的隐式三维模型，提出了三个新的仿真数据集，以展示该方法优于常规方法的定量和定性表现。

Oct, 2019

视频 Transformer 中的轨迹注意力

我们提出了一种新的视频转换器的降压块 - 轨迹关注，并提出了一种解决计算和存储在输入大小上的二次依赖性的新方法，其中特别重要的是对于高分辨率或长视频。将这些想法应用于视频行动识别的具体任务中，并在 Kinetics，Something-Something V2 和 Epic-Kitchens 数据集上取得了最先进的结果。

Jun, 2021

AttentionViz: Transformer 注意力的全局视图

本文介绍了一种新的可视化技术，旨在帮助研究人员理解转换器中的自我注意机制，并演示了基于 query-key 嵌入的交互式可视化工具 AttentionViz，以改进模型的理解和提供关于查询 - 键交互的新见解。

May, 2023

多尺度几何感知 Transformer 用于 3D 点云分类

本文提出了一种基于自注意力和多尺度非欧几里得几何信息的插件模块 Multi-scale Geometry-aware Transformer（MGT），通过对点云数据的局部和全局几何信息的处理，成功提高了点云任务的性能表现。

Apr, 2023

旅行之词：Transformer 的几何解释

通过引入新颖的几何视角，本文揭示了 Transformer 操作的内部机制，主要贡献在于说明层归一化将潜在特征限制在一个超球面上，从而使得注意力能够塑造单词在这个表面上的语义表示。通过对经过预训练的 124M 参数的 GPT-2 模型进行探究，我们的发现揭示了早期层中的清晰查询 - 键注意力模式，并在更深层次上进一步构建了关于注意力头部的特定主题性的先前观察。利用这些几何洞察，我们给出了 Transformer 的直观理解，将其描述为沿着超球面的词粒子的轨迹的建模过程。

Sep, 2023