本文研究了使用大规模语言模型所获得的单词嵌入中是否编码了某些情感信息。研究发现，只有在情感相关任务上微调 BERT 模型，或在情感丰富的上下文中包含额外的上下文信息时，相应的词嵌入才能编码更相关的情感信息。

Sep, 2022

在研究中，我们发现标准词嵌入即使经过去偏差处理，其性别偏差仍然很高，而上下文词嵌入则能够减少这种性别偏差，从而为自然语言处理应用提供更公正的结果。

Apr, 2019

通过引入情感方面的三种新方法，可以改善神经会话模型的自然语言处理能力，实现更加丰富、有趣和自然的情感化响应。

Sep, 2017

提出了一种名为 Aff2Vec 的模型，利用词嵌入技术实现情感语言的表示，并在同义词和情感词汇方面取得了更好的结果，其在情感分析、人格检测和挫败预测等自然语言理解任务中优于基线模型。

May, 2018

本研究使用静态词向量嵌入，构建了上下文化的语义轴，以解决反义词有相邻表示的困境，并在两个人类数据集上验证了这些轴的效果：维基百科职业和过去 14 年中极端主义男性社区中的多平台讨论，结果显示上下文化的语义轴可以有效区分同一单词类型的不同实例。

Oct, 2022

本文分析了最先进的语境词表示模型，如 BERT 和 GPT-2，对于性别，种族和交叉身份认同的偏差情况，并提出了一种新颖的方法对词语级别上的偏差进行评估。

Nov, 2019

揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。

Aug, 2022

本研究主要通过对情感极性和同义词 / 反义词关系的评估，比较不同嵌入方法之间的质量差异，并探讨嵌入空间中维数的多少以及每个维度的分辨率对 NLP 任务的影响。结果表明嵌入方法在不考虑句子结构的情况下可以捕捉到非常微妙的语义，而确定嵌入方法的质量和特性对最终结果具有重要影响。

Jan, 2013

本文提出了一种端到端情感丰富的神经对话模型，采用 VAD 注意机制将情感嵌入到每个单词中，并通过采用情感注意机制考虑了否定语和强化语的影响。最后，采用具有情感的目标函数训练模型，以产生具有情感丰富性的输出响应，得到人类的联合评估与基于困惑度的评估都优于同等规模的基线模型。

Nov, 2018

本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

Oct, 2020