本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

Jul, 2022

该论文提出了一种新颖的方法，使用强化学习来决定句子是否与给定关系相关，借助正 / 无标签学习，该方法全面利用未标记实例，并提出了两种新的正 / 无标签包表示形式，将这两种表示形式以合适的方式组合来进行包级别的预测。实验结果显示，与几个竞争性基线相比，该新方法显着而一致地提高了性能。

Nov, 2019

本研究探讨了利用 Stanford 自然语言推断数据集的监督学习训练通用句子向量表示，相比于 SkipThought 等无监督方法，该方式在多种迁移学习任务中表现更优，因此表明自然语言推断适用于迁移学习。

May, 2017

本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

Apr, 2017

我们提出了一种新方法 UPSA，它利用模拟退火实现无监督的同义词生成。我们将同义词生成建模为一个优化问题，并提出了一个复杂的目标函数，涉及同义词的语义相似性、表达多样性和语言流畅性。然后，UPSA 通过执行一系列局部编辑来朝着这个目标搜索句子空间。我们的方法是无监督的，不需要平行语料库进行训练，因此可以轻松应用于不同的领域。我们在各种基准数据集上评估了我们的方法，即 Quora、Wikianswers、MSCOCO 和 Twitter 等。广泛的结果表明，UPSA 在自动和人工评估方面都实现了与以前的无监督方法相比的最先进性能。此外，我们的方法优于大多数现有的领域自适应监督模型，显示了 UPSA 的通用性。

Sep, 2019

本文阐述语言学中名词周围的语音停顿可以用于改善机器学习语言理解任务；作者的提出的一种新颖的语义嵌入模型能够用于增强浅层实体分析，结果显示此模型相比传统方法能够将误差率提高 8%。

Sep, 2021

介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

Sep, 2018

本研究介绍了一种生成句子嵌入向量的模型，旨在实现到其他自然语言处理任务的迁移学习，并探讨了模型复杂度、资源消耗、迁移任务训练数据可用性和任务性能之间的关系。作者发现句子嵌入迁移学习通常优于单词级别的迁移，并可以在极少量监督训练数据的情况下实现出人意料的良好表现。

Mar, 2018

本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。

Jun, 2019

通过使用语言模型的嵌入（ELMo）技术，提出了一种更快、更简单的无监督预训练方法 ELMo-Light（ELMoL），在大量未标记的句子上进行的无监督预训练，在语音识别任务上比从头开始训练或传统的有监督迁移学习方法表现更好，并且当域内的标记样本仅有 1000 个时，我们的技术可以匹配使用 10-15 倍更多标记的样本从头开始训练的性能。

Nov, 2018