本论文研究了三个方面的工作：如何提高预训练模型在 NLP 任务中的性能，在维基百科和释义上利用语言结构以提取知识，以及定制文本资源以建立挑战性的评估任务。

Jul, 2022

本文提出了一种基于深度强化学习的新型 “生成器” 和 “评估器” 框架来生成给定句子的释义，实验证明此方法在自动评估和人类评估上都优于现有技术。

Nov, 2017

该研究提出了一种两阶段的语义解析框架，第一阶段利用无监督的语义模型将未标记的自然语言转化为规范化语句，第二阶段使用自然语言解析器解析输出结果得到目标逻辑形式，该训练过程被分成了预训练和循环学习两个阶段，通过三项定制的自监督任务激活无监督的语义模型，实验结果表明该框架是有效的且与监督式训练相兼容。

May, 2020

本篇论文研究了一种使用深度生成模型（VAE）与序列到序列模型（LSTM）相结合的方法来自动生成给定句子的同义句，相对于现有方法具有更好的性能和简洁的模块化结构。

Sep, 2017

使用可比较语料库中的句子进行多序列匹配从而自动学习和应用单词格点对表示的改写模式，实现文本的生成和改写。实验结果表明系统可以准确地生成和改写文本并优于基线系统。

Apr, 2003

本文研究了基于转移学习的无监督方法生成高质量的同义改写，其中采用了任务自适应、自监督学习和名为 Dynamic Blocking 的新型解码算法。该方法在问答数据集和 ParaNMT 数据集上均取得了最新的性能，并且在不同语言改写中具有良好的迁移性能。

Oct, 2020

本文提出了一种将改写生成任务视为无监督机器翻译的新方法，通过将大规模无标签单语语料库拆分成多个簇并使用这些簇的对训练多个 UMT 模型，然后基于这些 UMT 模型生成的改写语句对，可以训练出一个统一的代理模型，用于生成改写句子，该方法避免了对双语句对的依赖，同时也可以让人类干预模型，使用不同的过滤标准生成更多元的改写语句。在现有的改写数据集上进行的实验表明了该方法的有效性。

Sep, 2021

本论文研究句子简化，提出了两个新的无监督数据集用于训练模型，并通过多任务和提示策略在大语言模型下进行实验，取得了最新的性能成果。

Aug, 2023

本研究提出了一种基于深度强化学习的渐进式无监督改写方法，使用变分自动编码器生成种子改写，然后使用一种新的奖励函数来指导渐进调整种子改写，从而实现在不同域中高质量改写。在 4 个数据集上的结果表明，该方法在自动度量和用户研究方面优于监督学习和无监督学习的当前先进技术。

Jul, 2020

本研究提出了一种半监督框架，利用 GPT-2 模型自动构建了大规模数据，并根据估计的标签质量调整模型参数更新，实现 NLG 和 NLU 模型的联合训练，证明在数据稀缺场景下，该弱监督培训范式是一种有效的方法，在 E2E 和天气基准测试上优于基准系统。

Feb, 2021