通过使用释义作为数据源，我们分析了上下文嵌入，特别关注 BERT。由于释义自然地编码了一致的单词和短语语义，因此它们为研究嵌入的属性提供了独特的视角。我们发现上下文嵌入可以有效地处理多义词，但在许多情况下，在语义相似的情况下，给出了不同的同义词表示表现。我们证实了 BERT 对单词顺序的敏感性，但发现不同于以往的研究，BERT 的各层在上下文化程度方面存在稍微不同的模式。

Jul, 2022

该综述评估了现有的上下文嵌入模型，跨语言多语预训练，上下文嵌入在下游任务中的应用，模型压缩和分析。

Mar, 2020

本研究提出使用基于 CBOW 的训练方法进行文本嵌入的知识蒸馏，可以有效地提高自然语言处理应用程序的计算效率，同时优于从头开始训练的静态嵌入和以前提出的方法提炼的嵌入。此外，该方法还可以通过标准词汇评估任务公平比较上下文和静态嵌入。

Jun, 2021

本文采用预训练语言模型提出一种新的无监督词汇替换方法，通过根据单词在多个上下文中的平均上下文表示相似性来检索替代词，实验表明该方法在英语和意大利语上表现明显优于强基线，并且能够成功预测低频替代词且不受形态和句法中的词汇一致性的影响。

Sep, 2022

通过将上下文信息与传统静态嵌入相结合，以及使用预先的同义词知识和加权向量分布来提高词嵌入的效果。

Oct, 2022

本文研究使用基于上下文嵌入方法进行检测历时语义变化的可能存在的输出错误。通过引入单一方法并进行深入的分析，作者发现这种方法可能会将词汇的词典含义变化与上下文语境的变化混淆，同时将词汇实体的句法和语义方面合并在一起。本文提出了一些解决这些问题的未来可能方案。

Aug, 2022

我们提出了一种新颖的改进方法，用于将情绪方面引入预训练语言模型（如 BERT 和 RoBERTa）。通过对比学习更新预训练网络权重，使表现出类似情绪的文本片段在表示空间中靠近编码，而具有不同情绪内容的片段则被推开。我们的方法对 PLMs 进行了改进，即 BERTEmo 和 RoBERTaEmo，生成了情绪感知的文本表示，通过不同的聚类和检索指标进行评估。在情感分析和讽刺检测的下游任务中，它们比预训练模型表现得更好（F1 分数提高约 1%），且在少样本学习中观察到了更显著的性能提升。

Oct, 2023

用上下文化单词表示替代静态单词嵌入在许多自然语言处理任务中都有很大的提升。本文研究了从 ELmo 和 BERT 等模型生成的上下文化表示到底有多少有多少上下文性，是否针对每个单词有无限多个上下文相关的表示，还是本质上分配了一个有限数量的单词感觉表示。

Sep, 2019

该论文研究了利用大规模神经语言模型生成的上下文词表示对于自然语言处理任务的有效性及其可迁移性。结果表明，虽然这些表示在许多任务中表现出色，但对于需要细粒度语言知识的任务（如连词识别）而言，它们还不能胜任。此外，作者还比较了不同预训练和监督预训练方法对于任务训练的影响。

Mar, 2019

研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

May, 2019