基于忠实注意力机制的细粒度情感分析
本文研究了基于注意力机制对低资源场景下自动学习映射的问题，并提出了一种可以实现从资源丰富的领域到低资源领域的映射方法，在基准数据集上取得了 15% 以上的平均误差降低率。
Aug, 2018
本文提出了一种新型的 TaSc 机制，学习任务特定的非上下文信息以扩展原始的 Attention 权重，通过评估测试，证明 TaSc 可以提高 Attention 解释在两种注意机制，五个编码器和五个文本分类数据集上的解释 品质而不牺牲预测性能，并且相对于三种广泛使用的可解释性技术，TaSc 一致提供更加忠实的 Attention 解释。
May, 2021
我们提出了一种新的情感分类模型，使用 RNN 和 CNN 并加入目标特定的词语表示生成机制，以及保留 RNN 层原始上下文信息的组件，最终在多个评估标准上达到了最新的最优表现。
May, 2018
通过实验发现注意力机制在句子中能够关注到重要的词，类似于人类阅读时关注关键词汇，但机器学习可能出现错误关注，因而可以借助眼动仪辅助纠正错误，从而提高分类任务的性能。
Sep, 2022
通过比较两个任务特定的阅读数据集，研究表明，大规模预训练自注意力模型对于人类注意力的预测能力依赖于罕见语境的句法性质，而任务特定的微调不增加与人类阅读的相关性，并且通过输入减少实验给出了互补信息，表明低熵的注意向量更为可靠。
Apr, 2022
本研究提出了一种不同于传统管道式或强化学习方法的可微分训练框架，以在句子层面仅应用目标任务监督来输出具有可信度的原因，并在三个不同数据集上展示了竞争性表现和更好的性能。
Oct, 2020
本文提出了一种新颖的知识 - 注意力编码器，并介绍了三种将知识 - 注意力与自注意力相结合的有效方法。提出的关系提取系统是端到端和完全基于注意力的，实验证明知识 - 注意力机制与自注意力相互补充，在 TACRED 上实现了最先进的性能，并且胜过了现有的 CNN、RNN 和自注意力模型。
Oct, 2019
本文研究了自然语言处理中的社会偏见问题，提出了一种基于注意力机制调节权重的方法，增加模型的公平性，并提高不同规模语言模型下的分类和生成任务的表现。
May, 2023
提出了一种基于注意机制的新型框架，用于识别电影评论文档的情感。通过自适应多头注意力架构 (AdaptAttn) 根据句子长度变化注意头的数量，在 Stanford 大型电影评论数据集上的实验结果显示，我们的模型的 F1 得分与基准模型相当。
Oct, 2023