本研究通过加入噪声的方式进行了一个摘要任务来训练去噪自编码器从而实现了在不需要配对的语料库的情况下进行句子压缩。使用标准文本摘要数据集的人类评估表明，我们的模型与基于监督学习的语法正确性和意义保留基准相当，不需要目标数据，我们的无监督模型已经学会生成不完美但合理可读的句子摘要。

Sep, 2018

本文提出了简单而有效的方法，通过使用单语语料库而无需任何回译来改善跨语言嵌入的逐字翻译，并结合语言模型和噪声自编码器来提高其翻译性能，分析了词汇量和去噪类型对翻译效果的影响。

Jan, 2019

本文提出了一种基于 Transformer 模型的几乎无监督学习方法，结合 TTS 和 ASR 的双重特性，通过少量的配对数据和额外的未配对数据，实现了对语音和文本领域的语言建模，并在 LJSpeech 数据集上达到了 99.84% 的可懂单词率和 2.68 MOS 的 TTS 表现，以及 11.7% 的 ASR 错误率。

May, 2019

本文提出了第一次尝试仅依赖于未标记文本语料库进行无监督神经文本简化的核心框架，由共享编码器和一对注意解码器组成，并通过基于鉴别和去噪的损失进行简化知识的获取，并使用从 en-Wikipedia 转储的未标记文本进行训练。我们在公共测试数据上进行的分析（包括定量和定性的人类评估）表明，所提出的模型可以在词汇和句法两个级别上进行文本简化，竞争现有的监督方法。此外，增加几个标记的对也进一步提高了性能。

Oct, 2018

本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

Oct, 2017

本研究基于预训练的 Transformer 和序列去噪自编码器（TSDAE）提出了一种新的最先进的无监督方法，该方法表现优于先前的方法高达 6.4 个点。它可以达到领域内监督方法的性能的 93.1％。 此外，我们证明了 TSDAE 是一种强大的领域自适应和预训练方法，明显优于其他方法，如遮蔽语言模型。我们在来自异构领域的四个不同数据集上评估 TSDAE 和其他最近的方法。

Apr, 2021

在语义上意识到文本中的句子结构和上下文联系，通过将复杂句子进行拆分和重新表述，生成有语义层次的简化句子，以提高自然语言处理应用的预测质量。

Aug, 2023

本文通过使用 LSTM Encoder-Decoder 模型实现了句子级别的文本简化，该方法与传统的基于词法规则或手动定义规则的方法相比具有更好的效果。该模型可以学习具有一定规律的操作，如反转、排序和替换，因此可以被应用于修改句子结构、替换和删除单词等文本简化中。

Sep, 2016

提出并实现了一种基于抽取 - 编辑方法的无监督神经机器翻译，与以往仅使用错误积累法的基准性方法相比，在多个语言对和领域（包括低资源语言）的实验中表现更加优异。

Apr, 2019

我们提出了一种新颖的半监督方法，应用于序列转换和语义分析。该方法包含基于生成模型的无监督成分，在该模型中，潜在的句子生成不成对的逻辑形式，我们将此方法应用于许多语义解析任务，重点关注训练数据标记不足的领域，并使用合成逻辑形式扩充这些数据集。

Sep, 2016