本研究通过提出对 Transformer 模型的自注意力机制进行改进，提出了 Adversarial Self-Attention（ASA）机制，旨在抑制模型对部分特征的依赖以及探索更广泛的语义，实现更好的泛化性能和鲁棒性。实验结果表明，在预训练和微调阶段中，使用 ASA 的模型相较于普通训练在长远步骤上获得了显著的性能提升，这些模型也能够在泛化性能和鲁棒性方面胜过普通模型。

Jun, 2022

本文提出了一种自我注意力归因方法，通过对 BERT 等模型进行广泛的研究，发现这种方法能够用于识别重要的注意力头，构建注意力树，揭示变压器内的分层交互，以及可用作敌对模式实现非定向攻击。

Apr, 2020

本文提出了一种基于 U-Net 的注意力模型 ——U-Net$_{At}$，用于增强深度神经网络（DNN）语音识别系统中的对抗性信号，并通过可解释的语音识别度量评估模型性能，并探讨在对抗训练下的模型性能，在对抗性语音示例的语音增强任务中，我们的实验表明，提出的 U-Net$_{At}$ 可将语音质量感知评估（PESQ）从 1.13 提高到 2.78，语音传输指数（STI）从 0.65 提高到 0.75，短期客观清晰度（STOI）从 0.83 提高到 0.96，我们还在带有对抗性音频攻击的自动语音识别（ASR）任务上进行了实验，发现（i）注意力网络学习的时间特征能够提高 DNN 基于 ASR 模型的鲁棒性；（ii）通过应用带有加性对抗性数据增强的对抗性训练，可以增强 DNN 基于 ASR 模型的泛化能力，单词错误率（WERs）上的 ASR 指标显示，在基于梯度的扰动下有绝对 2.22％的减少，在经过进化优化的扰动下有绝对 2.03％的减少，这表明我们的增强模型与对抗性训练可以进一步确保弹性 ASR 系统的安全性。

Mar, 2020

本文提出了一种受人类感知启发的注意力模型，并将其融合到现代神经网络架构中。实验结果表明，引入注意力机制可以显著提高模型的对抗鲁棒性，在各种随机攻击强度下可以达到最先进的 ImageNet 准确度；通过控制注意力步骤的数量可以使模型的防御能力更强，并且可以对抗更强的攻击；攻击模型生成的对抗样本有着与传统对抗样本不同的全局、显著和空间一致的结构，这些结构来自目标类别并且甚至可以被人类识别，会使模型注意力从原始图像中的主要物体分散开来。

Dec, 2019

通过网络修剪的角度，研究了一种特征注入的注意头选择和操作策略，并在对话摘要中进行了案例研究，结果表明通过注意头操作注入指代关系信息可以提高对话摘要的性能。

Dec, 2023

该文提出了一种利用双向 Transformer 实现高效自监督学习的简单而有效的技术，该方法利用辅助损失函数引导注意力头符合自注意力特征，并可以适用于不同的预训练目标，实验证明该方法相对于基线模型更快收敛同时在下游任务中性能更好，在低资源环境中取得了业界领先结果。

Oct, 2020

研究了 Transformer 模型中的多头自注意力和编码器在神经机器翻译中的贡献和作用，提出了一种基于随机门和可微松弛 L0 正则化的新型剪枝方法，在不严重影响性能的情况下，成功删除了大部分注意头。

May, 2019

本文研究了多头注意力机制在端到端自动语音识别系统中的应用，通过分析多个注意头之间的差异并探究不同的训练方法来提高多头之间的多样性，得出使用促进多头注意头多样性的辅助损失函数更有效，并在 Librispeech 数据集上实现了高达 6% 的相对语音识别准确率提升。

Sep, 2022

本研究基于自注意力机制进行 BERT 模型的定量及定性分析，发现模型的超参数化导致自注意力机制复用率高，不同自注意力机制对不同 NLP 任务影响不同，针对性关闭某些自注意力机制可以提升模型性能。

Aug, 2019

通过提出一种名为动态注意力的新方法，我们设计了一个针对转换器架构的机制来增强模型本身对各种对抗性攻击的鲁棒性，从而显著减轻对抗性攻击的影响，并将其与其他防御方法（如对抗性训练）相结合以进一步增强模型的鲁棒性。

Nov, 2023