本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

Jul, 2022

本研究提出了一种无监督学习的句子编码器，使用连续的文本数据训练编码器 - 解码器模型，并通过线性模型对其进行了 8 项任务的评估，结果表明该编码器具有高度泛化的句子表示能力，可在实践中发挥良好的效果。

Jun, 2015

本文定义了能够为句子产生分布的概率模型，最佳表现的模型将每个单词视为线性转换算子应用于多变量高斯分布，并通过从定义的模型中进行训练，演示了实现句子特定性的自然方式。虽然我们的模型是整体最佳表现的，但通过句子向量的范数表示来表示句子的特异性的简单架构也能够表现句子的特异性。质性分析表明，我们的概率模型捕获了句子涵盖并提供了分析单词特异性和精确性的方法。

May, 2020

分析语义变化的模式在长篇实际文本（如书籍或记录）中是有趣的，从文体、认知和语言的角度来看。这项研究也对应用领域，如文本分段、文档摘要和语义新颖性检测是有用的。本文通过时间序列的语义相似性以及多本文学作品的两两句子相似性矩阵比较了几种最近的句子嵌入方法。与以前使用目标任务和精心策划的数据集比较句子嵌入方法的研究不同，我们的方法提供了对方法在现实情境的评估。我们发现，大部分句子嵌入方法确实能够在给定文档中推断出高度相关的语义相似性模式，但也存在有趣的差异。

Aug, 2023

本文针对段落向量的应用进行研究，评估其在文本相似度计算方面的性能，同时探究其向量操作在语义任务上的效果。通过对比潜在狄利克雷分布模型等其他文本建模算法，实验结果表明段落向量方法在性能上优于其他方法，并提出了改进模型提高嵌入质量的简单方法。

Jul, 2015

利用神经网络对单词进行矢量表示后，本文探讨了在自动文摘的语境下，矢量表示的句子向量的特性，包括其与文档向量之间的余弦相似度与句子重要性的强关联、向量语义可用于识别和纠正选择的句子和文档之间的差距以及有效摘要所需的特定维度的相关性等。同时，本文还在多种句子嵌入方法之间进行了特征比较及分析，这些洞见都可应用于远远超出自动文摘领域的句子嵌入应用。

Oct, 2018

本文提出了一种基于变分概率框架的深度潜变量模型，使用双语数据，利用拥有共性的语义信息与特性进行训练，使模型可以将并行语句进行源分离，得到隐含的语义向量，进而对单语数据进行预测。实验证明，该方法在无监督语义相似性评估方面的表现明显优于现有方法，并且还能在不适合使用简单词语重叠作为相似性指标的更难评估子集中发挥最大的作用。

Nov, 2019

本研究探讨了利用 Stanford 自然语言推断数据集的监督学习训练通用句子向量表示，相比于 SkipThought 等无监督方法，该方式在多种迁移学习任务中表现更优，因此表明自然语言推断适用于迁移学习。

May, 2017

本文提出了一种基于神经网络的段落向量的新解释，基于概率论的方法可以通过后验不确定性来在监督学习任务中提升性能，进一步提高了段落向量的研究应用。

Nov, 2017

本研究介绍了一种生成句子嵌入向量的模型，旨在实现到其他自然语言处理任务的迁移学习，并探讨了模型复杂度、资源消耗、迁移任务训练数据可用性和任务性能之间的关系。作者发现句子嵌入迁移学习通常优于单词级别的迁移，并可以在极少量监督训练数据的情况下实现出人意料的良好表现。

Mar, 2018