介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

Sep, 2018

本文提出一种基于编码器 - 解码器框架的新模型 Word Embedding Attention Network (WEAN)，通过查询分布式词表示（即神经词嵌入）来生成单词，以捕获相应单词的含义，实验结果表明，该模型在两个英语文本简化数据集上的 BLEU 分数分别为 6.3 和 5.5，在一个中文摘要数据集上的 ROUGE-2 F1 分数为 5.7，并在这三个基准数据集中取得了最优表现。

Mar, 2018

研究使用 Paraphrase Database 监督学习通用的、同义句的句子嵌入，比较 6 种组成结构并在相似度数据集和三个 NLP 任务上进行评估，在领域内复杂的结构（如 LSTM）有更好的性能，但在领域外使用简单架构如词平均比 LSTM 表现更好，同时演示如何将预训练的句子嵌入与监督任务相结合。

Nov, 2015

本文提出一种基于神经网络的生成模型，使用两个潜变量来表征句子的句法和语义，并通过训练多个损失函数来实现更好的语义和句法表征的分离，将其应用于句子相似性任务中，并发现该模型的语义和句法表征性能均最优且最为分离。

Apr, 2019

ParaBART 是一个语义句子嵌入模型，使用基于源句子和目标释义之间语义相似性差异的语法指导解开基于预训练语言模型的嵌入中的语法和语义信息的工作。该方法在英语分析上表现出色，能有效的从语义句子嵌入中删除语法信息，提高对下游语义任务的鲁棒性。

Apr, 2021

通过使用释义作为数据源，我们分析了上下文嵌入，特别关注 BERT。由于释义自然地编码了一致的单词和短语语义，因此它们为研究嵌入的属性提供了独特的视角。我们发现上下文嵌入可以有效地处理多义词，但在许多情况下，在语义相似的情况下，给出了不同的同义词表示表现。我们证实了 BERT 对单词顺序的敏感性，但发现不同于以往的研究，BERT 的各层在上下文化程度方面存在稍微不同的模式。

Jul, 2022

本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

Jul, 2022

本文提出一种新的基于概率框架、结合形式语义和机器学习的方法，通过将谓词与其所指实体分开，利用贝叶斯推断来对逻辑形式进行推理，在使用受限玻尔兹曼机和前馈神经网络的组合实现这一框架之后，最终证明了该方法的可行性。

Jun, 2016

使用字典中的定义作为桥梁，将定义（短语）映射到单词的词汇表达式上，利用这种方式进行训练的神经嵌入模型能够有效地解决短语和句子的语义表示问题，并具有广泛应用前景。

Apr, 2015

本文提出了一种基于概率的句子嵌入框架（Sen2Pro），该框架利用预训练语言模型将句子表示为嵌入空间中的概率密度分布，以反映句子表示中的模型不确定性和数据不确定性，并在不需要重新训练预训练语言模型的情况下，基于 PLM 进行部署和应用，实现了比传统点估计方式（Sen2Vec）更好的效果。

Jun, 2023