有效的注意力揭示解释性
本文提出了一种自我注意力归因方法,通过对 BERT 等模型进行广泛的研究,发现这种方法能够用于识别重要的注意力头,构建注意力树,揭示变压器内的分层交互,以及可用作敌对模式实现非定向攻击。
Apr, 2020
该文章提出了一种基于注意力的可解释性技术,可在维持模型性能和减少计算复杂度的同时提高模型的解释性。与此同时,还引入了一种更适用于 transformer 模型的忠实度度量标准,并在七组数据集中进行了定量和定性实验验证其实用价值。
Sep, 2022
本文研究了基于注意力机制的 Transformer 模型在自然语言处理中的应用,通过对 GPT-2 模型的注意力结构的可视化和大规模语料库的分析,发现模型在不同层次区分不同词性并在中间层次最强烈地关注依赖关系,最深层次关注最远程的联系,并抽取了展现特定关注头目标的范例句子。
Jun, 2019
该论文介绍了一种结合人机交互的流程来发现重要的任务特定的注意力模式,然后注入到原始模型和较小的模型来提高模型的准确性与效率,取得了在提取式摘要和主题分割方面显著提高的结果。
Dec, 2021
本研究基于自注意力机制进行 BERT 模型的定量及定性分析,发现模型的超参数化导致自注意力机制复用率高,不同自注意力机制对不同 NLP 任务影响不同,针对性关闭某些自注意力机制可以提升模型性能。
Aug, 2019
我们引入了三种新的注意力机制,比标准的多头注意力在效率和学习能力方面表现更好,从而提高了 Transformer 模型的性能和广泛部署能力。我们的第一个贡献是优化的注意力,它在头部数量、参数数量和矩阵乘法数量上与标准注意力相近,但参数数量少了 3/4,每个头部少了一次矩阵乘法。接下来,我们介绍了高效的注意力,它在参数数量上只有标准注意力的一半,每个头部少了两次矩阵乘法,并且速度是标准注意力的两倍。最后,我们介绍了超级注意力,在视觉和自然语言处理任务中显著超过标准注意力,同时具有更少的参数和矩阵乘法。除了提供严谨的数学比较,我们还在 MNIST、CIFAR100、IMDB 电影评论和 Amazon 评论数据集上评估了所提出的注意力机制。
Mar, 2024
本文研究了 BERT 的注意力机制,探究了两个问题:如何使用注意力机制减少输入长度和如何将注意力用作条件文本生成的控制机制,并发现 BERT 的早期层对文本分类任务的关注度更高,其注意力和可以用于过滤给定序列的令牌,一定程度上减少了输入长度同时保持良好的测试准确性。
Mar, 2023
该文提出了一种利用双向 Transformer 实现高效自监督学习的简单而有效的技术,该方法利用辅助损失函数引导注意力头符合自注意力特征,并可以适用于不同的预训练目标,实验证明该方法相对于基线模型更快收敛同时在下游任务中性能更好,在低资源环境中取得了业界领先结果。
Oct, 2020
本研究提出了一种基于 Deep Taylor Decomposition 原则的计算 Transformer 网络相关性的方法,通过注意力层和跳跃连接进行传播,并通过基于图像分类和文本分类问题的测试表明其在解释性方面优于现有方法。
Dec, 2020