本文通过对不同类型的上下文学习skip-gram词嵌入对广泛的内在和外在自然语言处理任务性能的首次全面评估，发现内在任务在特定类型的上下文和更高的维度方面更好，而对于大多数外在任务，需要更仔细的调整来找到最佳设置；另外，对于这些外在任务，一旦提高嵌入维度的好处大多用尽，使用不同上下文类型学习的简单词嵌入的串联，可以产生进一步的性能提升；此外，本文还提出了一种新的skip-gram模型变体，从替换词的加权上下文中学习单词嵌入。

Jan, 2016

该论文的第一部分介绍了词嵌入的必要性、创建方法、有趣的属性及其与图像嵌入的比较；第二部分实现了一个基于预训练词向量的卷积神经网络，用于几个句子级分类任务，取得了与最先进技术相当或领先的结果，说明与随机的词向量相比，预训练的词向量具有强大的能力。

Oct, 2016

我们提出了一种基于标准神经网络架构的简单，高效的令牌嵌入模型，并通过大量未注释的文本学习了令牌嵌入，评估它们作为基于少量注释的数据训练的词性标注器和依存分析器的特征，发现词嵌入在各种上下文窗口和训练集大小下都能一致优于基准预测模型。

Jun, 2017

本文介绍了10种用于捕捉句子简单语言特征的探针任务，使用这些任务来研究三个不同编码器训练的嵌入，并揭示了编码器和训练方法的有趣特性。

May, 2018

本文对最新的句子嵌入方法进行了全面评估，通过使用多样的下游和语言特征探测任务，表明与在蕴涵数据集上训练的句子编码器相比，使用具有深度上下文相关性单词嵌入的词袋模型可以在许多任务中产生更好的结果，但我们远未达成一个可以在多个下游任务中持续表现的通用编码器。

Jun, 2018

本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。

Jun, 2019

本文提出了一种名为BERTRAM的基于BERT的结构，用于为罕见词建立高质量的嵌入表示，从而提高深层语言模型在罕见词和中频词上的表现。实验表明，在罕见词探查任务和三种下游任务上，与BERT相结合可以显著提高罕见词和中频词的表示。

Oct, 2019

本研究旨在探究深度上下文嵌入（例如BERT）相对于传统预训练嵌入（例如GloVe）和一个更简单的基准（随机词嵌入）在训练集大小和语言任务的语言特性等方面，性能是否有大幅提升。我们发现，这两种更简单的基准线上也能匹配行业规模的数据中的上下文嵌入，并且通常在基准任务中具有 5-10％ 左右的精度，此外，我们还确定了一些数据特性，这些特性针对于特定的任务使得上下文嵌入具有大幅提升的表现：包含复杂结构的语言、具有歧义的词汇使用、及在训练中从未出现过的单词。

May, 2020

本研究提出使用基于CBOW的训练方法进行文本嵌入的知识蒸馏，可以有效地提高自然语言处理应用程序的计算效率，同时优于从头开始训练的静态嵌入和以前提出的方法提炼的嵌入。此外，该方法还可以通过标准词汇评估任务公平比较上下文和静态嵌入。

Jun, 2021

提出了一种句子级元嵌入学习方法，利用不同的上下文化语言模型，通过无监督的学习方式学习句子嵌入，以满足不同需要的下游自然语言处理任务，实验证明提出的方法优于以往的方法和有监督的基线。

Apr, 2022