本文提出了一种基于增强型双分支变压器编码器和基于注意力的特征融合的有效图像篡改定位网络 (EITLNet)，通过特征增强模块增强变压器编码器的特征表示能力，并且通过坐标注意力融合模块在多个尺度上有效地融合从 RGB 和噪声流提取的特征。广泛的实验结果验证了该方案在各种基准数据集上达到了最先进的泛化能力和鲁棒性。代码将在此 URL 进行公开。

Sep, 2023

本文提出了一种自我注意力归因方法，通过对 BERT 等模型进行广泛的研究，发现这种方法能够用于识别重要的注意力头，构建注意力树，揭示变压器内的分层交互，以及可用作敌对模式实现非定向攻击。

Apr, 2020

我们提出了一种嵌入的异构关注转换器（EHAT），用于建立跨领域的推理路径，以进行跨语言图像字幕生成，并集成到变压器中。EHAT 由掩蔽的异构交叉关注（MHCA）、异构关注推理网络（HARN）和异构协同关注（HCA）组成，在编码器中通过特殊的异构关注实现跨领域集成，并使单个模型生成两种语言的字幕。我们在 MSCOCO 数据集上进行了测试，生成英文和中文，我们的实验证明，我们的方法甚至超过了先进的单语方法。

Jul, 2023

本研究提出了一种名为 INTERACTIVE ATTENTION 的注意力机制，可以通过读写操作来建模解码器与源句子表示之间的交互，从而跟踪交互历史并提高翻译效果，实验结果表明，与基线和某些注意力机制的改进相比，使用 INTERACTIVE ATTENTION 的神经机器翻译系统可以在多个测试数据集上平均优于开源的 attention-based NMT 系统 Groundhog 4.22 BLEU 分数和开源短语 - based 系统 Moses 3.94 BLEU 分数。

Oct, 2016

该论文提出了 ITA，一种新颖的加速器架构，用于 Transformer 模型和相关模型的高效推理，通过利用 8 位量化和一种仅操作整数值的创新 softmax 实现，在嵌入式系统上实现了低功耗和高效能。ITA 在能效上与最先进的 Transformer 加速器相媲美，达到 16.9 TOPS/W，而在面积效率方面以 22 纳米完全耗尽硅上绝缘体技术满足 0.8 V 下的每平方毫米 5.93 TOPS/mm² 的性能。

Jul, 2023

我们通过分解提出了一种高效的多头自注意力交互方法，该方法通过建立注意力矩阵中的跨头交互来增强信息流动，并将注意力操作分解成查询和无键组件，以降低注意力矩阵的维度，从而实现更高效的注意力操作。实验结果表明，所提出的跨头交互方法在效率和性能上优于现有的方法和最先进的骨干模型。

Feb, 2024

Transformer 的图表示学习中，通过引入 Graph External Attention 提出了一种新的关注机制来隐式捕捉图之间的相关性，进而用于设计了更全面的图表示框架 GEAET。通过在基准数据集上进行的实验证明，GEAET 达到了最先进的经验性能。

May, 2024

本文提出了一种多模态端到端变形器（ME2ET）模型，通过引入渐进的三模态注意力和三模态特征融合层，成功地模拟了文本、声音和视觉模态之间低层和高层的交互，并在 CMU-MOSEI 和 IEMOCAP 数据集上取得了最先进的性能。

Sep, 2022

论文提出了一种新的具有局部偏好和尺度不变性的图像模型 ——ViTAE，其利用多个卷积模块降采样并将输入图像嵌入到多尺度上下文具有丰富的令牌中，从而学习到具有鲁棒性的对象特征表示。

Jun, 2021

本文介绍了一个使用多头 Transformer 结构的 EmpTransfo 模型，可以基于先前情感和元数据来生成具有情感的对话。我们的实验结果表明，EmpTransfo 模型在 Hit@1 和 PPL（困惑度）方面的表现優于其他模型。

Mar, 2020