该论文提出了一种从非标记的单语语料库中学习的重述模型，通过在重述识别，生成和训练增强方面与基于机器翻译的方法进行比较，发现单语重述在所有场景中均优于无监督翻译。

May, 2019

本研究提出了一种基于深度强化学习的渐进式无监督改写方法，使用变分自动编码器生成种子改写，然后使用一种新的奖励函数来指导渐进调整种子改写，从而实现在不同域中高质量改写。在 4 个数据集上的结果表明，该方法在自动度量和用户研究方面优于监督学习和无监督学习的当前先进技术。

Jul, 2020

MARGE 是一种预训练的模型，其多语言多文档解析目标实现了一种新的掩蔽语言建模范例，能够同时实现重构和检索，并能够将这种方法应用于多种语言的翻译和信息检索任务，取得了不错的效果。

Jun, 2020

本论文研究了三个方面的工作：如何提高预训练模型在 NLP 任务中的性能，在维基百科和释义上利用语言结构以提取知识，以及定制文本资源以建立挑战性的评估任务。

Jul, 2022

本文提出了一种将改写生成任务视为无监督机器翻译的新方法，通过将大规模无标签单语语料库拆分成多个簇并使用这些簇的对训练多个 UMT 模型，然后基于这些 UMT 模型生成的改写语句对，可以训练出一个统一的代理模型，用于生成改写句子，该方法避免了对双语句对的依赖，同时也可以让人类干预模型，使用不同的过滤标准生成更多元的改写语句。在现有的改写数据集上进行的实验表明了该方法的有效性。

Sep, 2021

本文提出了利用元学习框架解决弱监督下的释义生成任务，并通过检索式的伪释义扩展获取大量弱标注平行句子，进而选择有价值的样本对预训练语言模型 BART 进行微调，从而生成高质量释义的方法，与目前的无监督学习方法相比具有显著的改进。

Sep, 2021

该研究提出了一种两阶段的语义解析框架，第一阶段利用无监督的语义模型将未标记的自然语言转化为规范化语句，第二阶段使用自然语言解析器解析输出结果得到目标逻辑形式，该训练过程被分成了预训练和循环学习两个阶段，通过三项定制的自监督任务激活无监督的语义模型，实验结果表明该框架是有效的且与监督式训练相兼容。

May, 2020

本文通过基于 Transformer 的语言模型提出了一种利用多语言平行文本自动生成同义词的简单统一模型，可以在一步中实现无监督同义词生成。该模型相较于中文中的折叠法方法，其生成的同义词更加相似，并且能够在大规模未对齐的语料库上进行预训练。同时，利用噪声自编码器机制还可以提高模型的多样性和鲁棒性。实验结果表明，该模型在同义词关系、多样性、流畅度和效率等方面均优于折叠法。

Nov, 2019

该研究研究了如何在只有大型单语语料库的情况下学习翻译。提出了两种模型，一种是神经模型，一种是基于短语的模型。这些模型通过参数的精心初始化、语言模型的去噪效应和反向迭代自动生成的并行数据来提高翻译性能。在 WMT'14 英语 - 法语和 WMT'16 德语 - 英语 基准测试上，这些模型分别获得 28.1 和 25.2 BLEU 分数，比现有方法的 BLEU 分数高出 11 个分数。方法在英语 - 乌尔都语和英语 - 罗马尼亚语等低资源语言中也取得了良好的结果。

Apr, 2018

通过利用预训练模型和实例相关提示，本文提出生成多样且高质量的复述词句的方法，使用向量量化的提示来控制预训练模型的生成。实验表明此方法在三个基准数据集上取得了最新的最佳结果，包括 Quora、Wikianswers 和 MSCOCO。一旦被接受，我们将公开所有代码。

Nov, 2023