AtMan: 通过内存高效的关注力操作理解 Transformer 的预测

Jan, 2023

AtMan: 通过内存高效的关注力操作理解 Transformer 的预测

AtMan: Understanding Transformer Predictions Through Memory Efficient Attention Manipulation

Mayukh Deb, Björn Deiseroth, Samuel Weinbach, Patrick Schramowski, Kristian Kersting

TL;DR提出了一种类别不可知扰动方法 AtMan，通过操纵 Transformer 的注意力机制产生与输出预测相关的输入关联图，相较于背向传播方法更兼并且计算量更小，已在文本和图像文本基准测试中取得了优异的表现。

Abstract

generative transformer models have become increasingly complex, with large numbers of parameters and the ability to process multiple input modalities. Current methods for explaining their predictions are resource-intensive. Most crucially, they require prohibitively large amounts of ex

generative transformer models explanations atman perturbation method parallelizable

发现论文，激发创造

基于图的多头注意力网络 GMAN 用于交通预测

本文主要针对交通预测中的长期性和影响因素的复杂性，提出了一种基于图形多关注网络 (GMAN) 的方法，通过编码器 - 解码器结构中的多个时空注意力块，来建模时空因素对交通状况的影响，并在两个实际交通预测任务中进行了实验。实验结果表明，GMAN 方法比现有方法具有优越性。

Nov, 2019

多方位注意力提升人群计数

该论文提出了一种名为 Multifaceted Attention Network 的深度学习模型，通过引入局部关注、全局关注和实例关注机制来对人群计数中存在的局部空间变化进行编码。实验结果表明该模型在四种不同数据集下表现出色。

Mar, 2022

神经注意力存储

提出了一种新颖的关注机制，即神经关注记忆（NAM），它是一种可读写的记忆结构，并基于此设计了基于 NAM 的 MANN、few-shot 学习、N-way K-shot 学习和 Transformer 等模型，实验证明 NAM 在算法零样本泛化、减少假阳性等方面效果更好。

Feb, 2023

ManiTrans: 基于实体级别文本引导的图像操纵，通过基于记号的语义对齐和生成

本研究提出基于 transformer 的框架 ManiTrans 来实现文本引导下的实体级别图像操作，结合语义对齐模块和语义损失，成功应用于真实世界的数据集上，与基准方法相比实现更精密和灵活的操作。

Apr, 2022

注意力遇到扰动：通过对抗训练实现鲁棒性和可解释性的注意力机制

本文提出对自然语言处理任务进行通用训练的技术，包括关注力对抗训练（Attention AT）和更易于解释的关注力对抗训练（Attention iAT）。该方法通过引入对抗扰动，增强了句子注意力的差异，提高了模型的预测性能和可解释性，并且尤其适用于关注力机制。实验表明，Attention iAT 在十项任务中表现最佳，并且其结果的注意力与基于梯度的单词重要性的相关性更强。此外，该方法不太依赖于对抗扰动的大小。

Sep, 2020

利用持久内存扩展自注意力

该研究提出了一种新的模型，该模型仅由注意力层组成。在具体实现中，加入了持续性存储向量来代替前馈层，这样我们可以去除前馈层但不会降低 transformer 的性能。研究显示，该模型在标准字符和词级语言建模基准上表现出良好的效果。

Jul, 2019

利用深层模型的分层内在维度进行实用对抗训练

通过改进的 Adversarial Training 算法 SMAAT，本研究提供了 vision 和 language 模型在 generalization 和 robustness 趋势差异的首个解释，同时展示了 SMAAT 在多个任务中显著提高了鲁棒性，且相比于标准的 AT 仅需约 25-33% 的 GPU 时间。

May, 2024

关于共享内存中注意力因子化的困难

通过对内存进行注意操作与通过输入信号筛选交互相对来说不够优化，可以利用 Luna 或 Memory Augmented Transformer 等模型减少注意计算复杂度或在块处理中传播信息来显著提高性能。

Mar, 2024

视频语义分割的时间记忆注意力

该研究提出了一种基于自我注意力机制和长远时间关系的 Temporal Memory Attention Network（TMANet），来达到视频语义分割的最佳性能，尤其在 Cityscapes 和 CamVid 数据集上表现出新的最佳性能，并且避免了消耗大量计算资源的精确光流建模的缺点。

Feb, 2021

EL-Attention: 面向生成的记忆效率高的无损注意力

提出了一种名为 EL-attention 的记忆高效的无损注意力机制，它避免了传统基于 cache 的多头注意力机制的高运算代价，通过扩展 query 并保持 key 和 value 的共享来构造注意力结果，从而实现了与传统方法相同的结果，在不损失准确性的情况下，将现有模型的推断速度提高了 1.6 倍至 5.3 倍。

May, 2021