利用注意力机制对文本进行聚类
本文提出了一种基于注意力机制的双向 LSTM 模型，使用卷积神经网络学习句子嵌入，利用上下文信息预测文本分段，相比现有的竞争基准方法，在三个基准数据集上的 WinDiff 分数提高了约 7%。
Aug, 2018
通过设计不同的探针实验，使用 BERT 和 DistilBERT，我们发现注意力框架在模拟主题词簇时发挥了关键作用，这为探讨概率主题模型和预训练语言模型之间的关系铺平了道路。
Jan, 2023
该研究提出了一种新的三元注意力机制来更好地捕捉自然语言处理中的上下文信息并在三个 NLP 任务中实现了比 30 种非注意、标准 Bi-Attention、上下文 Bi-Attention 方法和预训练神经语言模型更好的效果。
Nov, 2022
本文提出一种统一的注意力机制模型，针对自然语言处理领域中基于文本数据向量表示的注意力机制的四个维度进行了分类。本文通过举例说明如何在注意力模型中利用先前信息，并讨论了该领域正在进行的研究工作和开放性挑战。这是该领域中广泛文献的首次广泛分类。
Feb, 2019
本研究探索了使用深度学习模型和注意力机制在医学文本挖掘中的应用，旨在提高模型识别关键医学信息的能力，通过结合领域知识优化一个自适应注意力模型的能力来处理医学术语和复杂上下文，并证实该模型在任务准确性和鲁棒性方面的有效性，为智能医疗信息处理和临床决策辅助提供了新的视角和方法支持。
May, 2024
本文提出了一个新的深度学习框架，利用两级注意力体系结构来解决模型可解释性的问题，并在新闻文章分类任务中进行了实验，结果显示该模型在可解释性能力方面具有适当性并且与许多现有模型相比性能有竞争力。
Mar, 2022
本文提出了一种基于扰动的自监督注意力机制来指导注意力学习，以解决传统模型普遍专注于高频词且需要大量标记数据的问题，在三个文本分类任务上实验结果证明了该方法的有效性。
May, 2023
本文研究探讨了应用于对话行为检测和关键词提取的神经注意力模型在序列分类任务中的应用和作用，并通过实验结果和可视化分析验证了该模型在去除噪音和提取关键信息方面的表现。
Mar, 2016
提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译，并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中，通过在英德数据集上的实验进一步验证了该方法的有效性。
Mar, 2019