本文提出了一种新的神经网络框架来编码用户和产品信息，并通过注意力机制将两种信息结合起来进行训练和预测，在 IMDB 和 Yelp 的数据集上显著优于其他最先进的方法。通过对用户或产品相关单词的注意力可视化，验证了对两种信息在情感分类中起着不同作用的观察结果。

Jan, 2018

通过在单词嵌入中联合学习文本特征的分布式表征的一般框架，我们提出了一种第三阶段模型，其中单词环境和属性向量相互作用以预测序列中的下一个单词，并通过情感分类、跨语言文本分类和博客作者归因等多个实验任务进行了评估。

Jun, 2014

通过引入基于注意力的信息瓶颈，我们提出了一种新的去偏框架，用于学习属性的组合表示，从而改善了性能并解释了模型对属性的注意力。通过在有偏数据集上进行全面评估，并进行定量和定性分析，展示了我们方法在属性中心化表示学习方面的有效性，以及区分内在特征和偏向特征的能力。

Mar, 2024

本文提出了一种基于自注意力机制的句子嵌入模型，通过使用二维矩阵表示嵌入，并让每行矩阵分别关注句子中不同的部分，提高了可解释性。并在作者分析、情感分类和文本蕴含等三个任务中进行了模型评估，在所有任务中与其它句子嵌入方法相比表现出了显著的性能提升。

Mar, 2017

对 NLP 应用中有害偏差进行报告和提供测试集对于建立对当前问题的强大理解至关重要。通过观察新的标记属性偏差，我们总结了某些向下 NLP 应用中的性别偏差。针对有偏差的词嵌入可能是消除偏差的最具影响力的第一步。通过研究嵌入词汇的内在属性如何促成这种观察到的标记属性效应，以及当前的后处理方法是否成功解决偏差问题，调查了当前的去偏思路，发现下述两个问题：当前的去偏嵌入方案中没有一个能够缓解标记属性误差，也没有一个内在偏差测量能够预测标记属性影响。通过发现一种新类型的内在偏差测量与标记属性效应有意义的相关性，我们提出了针对静态词嵌入的新的后处理去偏方法，将提出的方法应用于现有嵌入中，取得了标记属性偏差测试集上的最佳结果。

Sep, 2021

使用基向量来有效地将分类元数据合并到基于神经网络的模型的不同部分中，可以大大提高文本分类的性能。

Feb, 2019

该论文研究了序列标注结构中使用单词嵌入进行相似性捕获时处理以前未见过或罕见单词时的问题，并提出了一种新颖的架构来组合替代单词表示。通过使用注意力机制，模型能够动态决定从单词或字符级组件中使用多少信息。我们在一系列序列标注数据集上评估了不同的架构，并发现字符级扩展在每个基准测试中都提高了性能。此外，即使使用较少的可训练参数，提出的基于注意力的架构也能够提供最佳结果。

Nov, 2016

研究发现，将不同权重分配给句子中的单词能够有效提高句子的表达能力，该论文提出了两种基于 Surprisal、POS tags 和 CCG supertags 的注意力机制模型用于改进句子表示，实验证明这种方法显著优于现有模型。

Sep, 2016

本文提出了 LSTM-A 架构，将属性集成到 CNNs 和 RNNs 的图片字幕框架中，并通过端到端的方式对它们进行训练。在 COCO 图片字幕数据集上进行了大量实验，该框架相比业内先进的深层模型获得了更好的结果，其中 METEOR/CIDEr-D 在 Karpathy＆Fei-Fei（2015）的公开数据集上达到了 25.2％/ 98.6％，并在 COCO 字幕排行榜上获得了至今的最佳表现。

Nov, 2016

本文提出了一种简单而有效的方法，利用词向量和 POS 标注器实现情感分析中的方面识别，引入了一种基于 RBF 内核的新型单头关注机制 Contrastive Attention (CAt)，避免使用句法特征和复杂神经模型，成功证明了在当前基准数据集中不需要使用这样的复杂模型。

Apr, 2020