更加关注自注意力：通过关注引导改进预训练语言模型

Apr, 2022

更加关注自注意力：通过关注引导改进预训练语言模型

Paying More Attention to Self-attention: Improving Pre-trained Language Models via Attention Guiding

Shanshan Wang, Zhumin Chen, Zhaochun Ren, Huasheng Liang, Qiang Yan...

TL;DR本文介绍了如何通过引入注意力机制创新地优化了预训练语言模型在信息检索和自然语言处理任务中的表现，提出了两种有效的注意力指导方法，并在多个预训练模型和数据集上进行了广泛的实验，取得了稳定的性能提升。

Abstract

pre-trained language models (PLM) have demonstrated their effectiveness for a broad range of information retrieval and natural language processing tasks. As the core part of PLM, multi-head self-attention is appe

pre-trained language models multi-head self-attention attention guiding mechanism attention pattern decorrelation benchmark datasets

发现论文，激发创造

使用 Transformer 引导自监督学习的注意力机制

该文提出了一种利用双向 Transformer 实现高效自监督学习的简单而有效的技术，该方法利用辅助损失函数引导注意力头符合自注意力特征，并可以适用于不同的预训练目标，实验证明该方法相对于基线模型更快收敛同时在下游任务中性能更好，在低资源环境中取得了业界领先结果。

Oct, 2020

BERT 中代码注意力的探索研究

研究表明，将标识符用于代码克隆检测中，可以增加 Transformers 预训练语言模型的性能，对代码进行特定的表示，而不是应用于自然语言处理的通用表示。

Apr, 2022

揭示自注意机制的漏洞

通过精心设计的注意力掩码，我们提出了强大的扰动技术 “HackAttend”，通过故意扰乱 SA 矩阵中的注意力分数，揭示了当前最先进的预训练语言模型在注意力微扰下的高度脆弱性，以及我们引入的新型平滑技术 “S-Attend” 在面对各种文本攻击时实现了与对抗训练相当的鲁棒性。

Feb, 2024

关注实体以获得更好的文本理解

在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

Nov, 2019

幻觉还是注意力误导？使用大型语言模型进行商业战略价值提取之道

大型语言模型与 transformer 架构已经彻底改变了文本生成领域，打破了前所未有的基准。尽管它们具有令人印象深刻的能力，但一直受到批评，因为它们生成的结果可能与事实不符或展示出逻辑上的不一致，这种现象通常被称为幻觉。然而，本文定义幻觉为 “注意力误导”，而非真正的幻觉，与教师期望的结果不一致并不代表是幻觉。理解幻觉与注意力误导的区别在商业环境中越来越重要，因为这些错误可能严重影响利用这些基本预训练模型来提取价值。本文强调了 PGI（个人、群体、智能）方法的最佳实践，该战略框架在面对真实业务挑战时，通过 GPT 生成的 4,000 个响应中仅有 3.15% 的错误率。它强调通过为实验提供知识，企业可以通过使用这些预训练模型探索创新的机会。这证实了通过熟练的团队落地战略应用可以最大化大型语言模型等新兴技术的好处。

Feb, 2024

并非所有的关注点都是您所需要的

本文提出一种名为 AttendOut 的新的 dropout 方法，旨在让基于自注意力的 PrLMs 具备更加鲁棒的任务特定调整能力，从而实现更强的性能表现。通过在多项自然语言处理任务中的验证，证明了该方法的普适性。

Apr, 2021

Transformer-Based 语言模型注意力头中的偏见分析

通过对注意力头的偏见分析框架，发现预训练语言模型中存在有偏头部，这有助于对模型公正性进行评估和指导有效减轻策略的开发。对 BERT 模型和 GPT 模型的性别和种族偏见进行了广泛的实验研究，进一步理解了预训练语言模型中的偏见行为。

Nov, 2023

神经机器翻译的多粒度自注意力

本文介绍了一种结合多头自注意力和短语建模的新型神经网络 Mg-Sa，利用 n-gram 或者句法格式训练多个注意头以关注短语，并通过短语间的交互增强结构建模弱点，实验结果表明该方法可以提高 NMT 的性能。

Sep, 2019

重新思考自注意力：朝向神经解析可解释性

本研究提出了标签关注层，一种新的自注意形式，其中关注头表示标签。运行实验并在 Penn Treebank（PTB）和中文 Treebank 上展示出其在词法句法分析方面的最新成果，标签关注层在该实验中表现出了更好的性能，相比现有工作需要较少的自我注意层数。最后，我们发现标签注意头学习了语法类别之间的关系，并显示了分析错误的路径。

Nov, 2019

基于自注意力头的无监督成分句法分析

本研究使用 Transformer-based pre-trained language models 并提出一种全新的无监督分析方法，通过引入一个高排名头部的集合，用于从语法角度分析 PLMs 的学习知识，从而提取出 PLMs 的句法知识，并用这些知识来训练神经 PCFG，最终与人类注释的语法树库得到比较。

Oct, 2020