本文提出了一种对 BERT 进行微调的方法（Phrase-BERT），使其能够生成更强大的短语嵌入，Phrase-BERT 利用一个由短语描述形式多样的同义词集以及从 Books3 语料库中挖掘的大规模情境短语数据集生成模型，并在各种短语级相似性任务中优于基线。 此外，该文还将 Phrase-BERT 嵌入式与简单的自编码器相结合，构建了一种利用向量空间中最近邻搜索将主题解释为词和短语混合的短语主题模型。 众包评估表明，该短语主题模型比基线的单词和短语级主题模型产生更一致和有意义的主题，进一步验证了 Phrase-BERT 的效用。

Sep, 2021

该研究展示了从阅读理解任务的监督学习中学习到短语的密集表示，并使用负采样方法提高性能，能够取代当前依赖于稀疏表示的短语检索模型，实现更好的开放域问答准确性并被用作密集知识库。

Dec, 2020

使用字典中的定义作为桥梁，将定义（短语）映射到单词的词汇表达式上，利用这种方式进行训练的神经嵌入模型能够有效地解决短语和句子的语义表示问题，并具有广泛应用前景。

Apr, 2015

本文定义了能够为句子产生分布的概率模型，最佳表现的模型将每个单词视为线性转换算子应用于多变量高斯分布，并通过从定义的模型中进行训练，演示了实现句子特定性的自然方式。虽然我们的模型是整体最佳表现的，但通过句子向量的范数表示来表示句子的特异性的简单架构也能够表现句子的特异性。质性分析表明，我们的概率模型捕获了句子涵盖并提供了分析单词特异性和精确性的方法。

May, 2020

本文提出一种从未标记数据中学习句子表示的简单有效的框架，通过将句子出现的上下文预测问题重新表述为分类问题，并基于句子向量表示来区分上下文句子和对比句子，并在多个下游 NLP 任务中展示了高质量的句子表示的超越性能以及训练时间的数量级加速。

Mar, 2018

通过填充空白的任务来学习来自文本上下文中提及的实体的上下文无关表示，结果展示了 Neural 模型的大规模训练可以学习到高质量的实体表示，并在四个领域展示了成功的结果。

Jan, 2020

本研究通过使用对比学习的 fine-tuning 方法并以表示排名作为主要分析工具，分析了最新的句子嵌入方法。通过定义 fine-tuning 的两个阶段，并利用这些阶段进行全面分析，我们得出了关于对齐和一致性、语言能力以及性能和排名之间相关性的重要发现。基于这些发现，我们提出了一种排名降低（RR）策略，以促进最新的对比学习方法的快速和稳定的 fine-tuning，并通过实证研究展示了 RR 在提高五种最先进句子嵌入方法的性能和稳定性方面的有效性。

May, 2024

本研究利用短语嵌入搜索构建高覆盖率的实体词典，并利用其生成具有高覆盖率的命名实体识别（NER）数据集。通过利用字典中候选短语与目标实体类型之间的嵌入距离来减少噪声，实现了弱监督 NER 模型的改进。在 6 个 NER 基准测试中，与当前弱监督 NER 模型相比，HighGEN 表现出更为优异的性能。

Oct, 2022

研究发现，预训练的转换语言模型在很多 NLP 任务上表现出色；然而，这些模型在短语级别的表示中，除了词汇内容外，缺乏复杂的组合短语信息，进一步的 fine-tuning 只能在情感任务中局部提高性能，而在重新释义任务中则由于数据集中可能存在干扰信号的原因而不能提供改进。

May, 2021

本论文提出了一种新的基于语义的短语翻译模型，在低维潜在的语义空间中将源语言和目标语言的短语映射成连续的向量，通过计算它们在这个新空间中的距离来计算它们的翻译分数。通过多层神经网络投影源语言和目标语言的短语，学习权重以直接优化机器翻译结果的质量。在两个欧洲议会翻译任务中（英语 - 法语和德语 - 英语）进行了实验评估，结果表明，这种基于语义的短语翻译模型显著提高了最先进的基于短语的统计机器翻译系统的性能，BLEU 分数提高了 0.7-1.0 分。

Nov, 2013