通往通用释义句子嵌入的路途

ICLRNov, 2015

Towards Universal Paraphrastic Sentence Embeddings

John Wieting, Mohit Bansal, Kevin Gimpel, Karen Livescu

TL;DR研究使用 Paraphrase Database 监督学习通用的、同义句的句子嵌入，比较 6 种组成结构并在相似度数据集和三个 NLP 任务上进行评估，在领域内复杂的结构（如 LSTM）有更好的性能，但在领域外使用简单架构如词平均比 LSTM 表现更好，同时演示如何将预训练的句子嵌入与监督任务相结合。

Abstract

We consider the problem of learning general-purpose, paraphrastic sentence embeddings based on supervision from the Paraphrase Database (Ganitkevitch et al., 2013). We compare six compositional architectures, evaluating them on annotated textual similarity datasets drawn both from the

paraphrastic sentence embeddings compositional architectures long short-term memory out-of-domain scenarios pretrained sentence embeddings

发现论文，激发创造

重访用于释义句嵌入的循环网络

该研究提出了一种新的循环神经网络，Gated Recurrent Averaging Network，用于学习通用的句子嵌入表示，相比于之前工作使用的逐词平均和 LSTM 循环神经网络，该方法在迁移学习和监督学习中都有更好的表现，并分析了模型对特定词性和依赖关系的偏好。

Apr, 2017

用于复述识别、语义文本相似性、自然语言推理和问答的神经网络模型

本文分析了几种神经网络设计（及其变体），对八个数据集进行了广泛的比较，包括释义识别、语义文本相似性、自然语言推断和问题回答等任务。我们提供了一个系统的研究，表明编码上下文信息的 LSTM 和句间交互至关重要，而 Tree-LSTM 并不能像先前宣传的那样有所帮助，但却出人意料地提高了 Twitter 数据集的性能；增强顺序推理模型是迄今为止较大数据集的最佳选择，而基于词对交互的模型在较少数据可用时实现最佳性能。我们将我们的实现作为开源工具包发布。

Jun, 2018

用于改写和文本摘要的语义句子嵌入

介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

Sep, 2018

使用长短期记忆网络的深度句子嵌入：分析和在信息检索中的应用

本文提出了一种基于循环神经网络和长短时记忆单元的句子嵌入模型，该模型能够自动侦测句子中关键词和主题，从而进行网络文档检索等艰难的语言处理任务，并在性能上显著优于现有的先进方法。

Feb, 2015

从释义学习概率句子表示

本文定义了能够为句子产生分布的概率模型，最佳表现的模型将每个单词视为线性转换算子应用于多变量高斯分布，并通过从定义的模型中进行训练，演示了实现句子特定性的自然方式。虽然我们的模型是整体最佳表现的，但通过句子向量的范数表示来表示句子的特异性的简单架构也能够表现句子的特异性。质性分析表明，我们的概率模型捕获了句子涵盖并提供了分析单词特异性和精确性的方法。

May, 2020

从自动挖掘的同义句训练有效的神经句子编码器

本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

Jul, 2022

通过多个词向量和多级比较实现语义文本相似度的句子建模

该研究提出了一种将多组实现单词嵌入的方法（M-MaxLSTM-CNN），并使用多级比较学习文本相似度和关系。实验结果表明， M-MaxLSTM-CNN 在文本相似度任务中表现优越，且不需要手动设计特征或预先训练单词嵌入具有相同的维度。

May, 2018

来自不同监督信号的句子嵌入的比较和组合

本文探讨了两种类型的句子嵌入方法对于语义文本相似度任务性能的影响，发现 fine-tunes 预训练语言模型在自然语言推断和单词预测任务中使用能够提高性能，而且将两种方法相结合能够比单个方法取得更好的效果。

Feb, 2022

无监督语义文本相似性的句子元嵌入

本文介绍了如何通过将不同的预训练句子编码器组合成句子元嵌入来解决无监督的语义文本相似性（STS）任务，我们在句子级别应用、扩展和评估了来自单词嵌入文献的不同元嵌入方法，并在 STS 基准测试和 STS12-STS16 数据集上设置了新的无监督状态，平均提高了 3.7% 至 6.4% Pearson 的 r 值。

Nov, 2019

最佳多语言文件嵌入是否只是基于句子嵌入？

本研究系统地比较了使用 LASER、LaBSE 和 Sentence BERT 预训练的多语言模型从句子中生成文档级表示的方法，证明了对于多语言任务来说，通常使用句子嵌入的巧妙组合要优于将整个文档编码为单个单元，并且说明了虽然简单的句子平均值对于分类任务来说已经有一定的效果，但对于语义任务来说需要更复杂的组合。

Apr, 2023