从自然语言推理数据中监督学习通用句子表示

EMNLPMay, 2017

从自然语言推理数据中监督学习通用句子表示

Supervised Learning of Universal Sentence Representations from Natural Language Inference Data

Alexis Conneau, Douwe Kiela, Holger Schwenk, Loic Barrault, Antoine Bordes

TL;DR本研究探讨了利用 Stanford 自然语言推断数据集的监督学习训练通用句子向量表示，相比于 SkipThought 等无监督方法，该方式在多种迁移学习任务中表现更优，因此表明自然语言推断适用于迁移学习。

Abstract

Many modern nlp systems rely on word embeddings, previously trained in an unsupervised manner on large corpora, as base features. Efforts to obtain embeddings for larger chunks of text, such as →

nlp word embeddings sentences natural language inference supervised learning

发现论文，激发创造

自然语言处理任务中的迁移学习监督上下文嵌入

本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。

Jun, 2019

通过大规模多任务学习学习通用分布式句子表示

本论文探讨了利用多个训练目标来学习句子表示的多任务学习框架，提出了一种有效实现的方法，通过多项实验得出该方法可以在转移学习和低资源环境中大幅度提高语言处理的效率。

Mar, 2018

学习句子表示的高效框架

本文提出一种从未标记数据中学习句子表示的简单有效的框架，通过将句子出现的上下文预测问题重新表述为分类问题，并基于句子向量表示来区分上下文句子和对比句子，并在多个下游 NLP 任务中展示了高质量的句子表示的超越性能以及训练时间的数量级加速。

Mar, 2018

通用句子编码器

本研究介绍了一种生成句子嵌入向量的模型，旨在实现到其他自然语言处理任务的迁移学习，并探讨了模型复杂度、资源消耗、迁移任务训练数据可用性和任务性能之间的关系。作者发现句子嵌入迁移学习通常优于单词级别的迁移，并可以在极少量监督训练数据的情况下实现出人意料的良好表现。

Mar, 2018

从未标注的数据中学习句子的分布式表示

本文系统地比较了学习分布式短语或句子表示方法的模型，并发现最佳方法取决于预期应用程序，对于 supervised 系统，更深层次、更复杂的模型更具优势，但建立可通过简单空间距离指标解码的表示空间最好采用浅的 log-linear 模型。我们还提出了两个新的无监督表示学习目标，旨在优化训练时间、领域可移植性和性能之间的平衡。

Feb, 2016

超越语言：句子表示的全面调查

本文综述了句子表示学习的各种方法，包括传统的和基于深度学习的技术，并对该领域的主要贡献和挑战进行了系统梳理，结论强调了句子表示学习在自然语言处理中的重要性和面临的挑战，并提出了未来研究方向和改进句子表示质量和效率的潜在途径。

May, 2023

使用组成性 n-Gram 特征进行句子嵌入的无监督学习

本文介绍了一种简单但高效的无监督学习方法，用于训练分布式表示的句子嵌入。该方法在大多数基准任务中性能优于最先进的无监督模型，突显了所产生的通用句子嵌入的健壮性。

Mar, 2017

用于改写和文本摘要的语义句子嵌入

介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

Sep, 2018

使用监督对比学习的句子嵌入

本文提出了一种使用对比学习进行监督学习 Fine-tuning 预训练 BERT 模型以创建高效句子嵌入的新方法，相比于只使用基于交叉熵的监督学习的当前最先进方法 SBERT，我们的方法可以在句子转换和语义文本相似度基准测试上改进 2.8％和 1.05％。

Jun, 2021

学习基于图像的句子表示

我们介绍了训练在监督图像字幕语料库上的多种模型，用于预测给定字幕的图像特征，以执行句子表示接地。我们训练了一个接地的句子编码器，在 Coco 字幕和图像检索方面取得了良好的性能，随后展示了该编码器可以成功地转移到各种 NLP 任务，与仅文本模型相比，性能有所提高。最后，我们分析了接地的贡献，表明该系统学习到的单词嵌入优于非接地的单词嵌入。

Jul, 2017