本文提出了一种通用的无监督学习方法，用于改善序列到序列模型（seq2seq）的准确性；其主要是通过使用两个语言模型的预训练权重对 seq2seq 模型的 encoder 和 decoder 进行初始化，并使用标记数据进行微调，最后将其应用于机器翻译和抽象概述中。研究结果表明，预训练可以提高 seq2seq 模型的泛化性能，进而取得了 WMT 英德翻译任务的最新的最佳 BLEU 分数，其人工评估结果也得到有力佐证。

Nov, 2016

本研究针对面向任务对话系统中语言理解的数据增强问题，提出了基于序列到序列生成的数据增强框架来提高模型的性能，该框架利用训练数据中某个话语的同义替代品来增强数据，将多样性排名纳入话语表示中，生成多样性增加的话语，实验证明在仅有数百个话语的情况下，在 Airline Travel Information System 数据集和 Stanford Multi-turn，Multidomain Dialogue 数据集上都取得了显著的 6.38 和 10.04 分数提高。

Jul, 2018

该论文提出了一种新颖的流利性提升学习和推理机制，结合卷积 seq2seq 模型，成功将神经序列到序列的方法应用于语法错误纠正 (GEC)，在 CoNLL-2014 10 注释数据集上获得了 75.72（F_{0.5}）的最好表现，在 JFLEG 测试集上获得了 62.42（GLEU)）的最好表现，并成为首个在这两项基准测试中都达到人类水平性能（分别为 CoNLL-2014 72.58 和 JFLEG 62.37）的 GEC 系统。

Jul, 2018

通过少量文本样本的文本增强和使用循环一致性作为目标实现弱监督训练范式在数据到文本生成中的有效性。

Feb, 2021

本文研究了现有的 seq2seq 预训练模型中存在的问题，提出了一种基于编码器自监督学习的预训练策略 E2S2，并通过在多个自然语言理解和生成任务中的实验证明了其可行性及有效性。

May, 2022

本文研究了不同类型的基于 Transformer 的预训练模型（如 GPT-2，BERT 和 BART），并探索了在数据增强方面，如何在文本序列之前添加类标签提供了一种简单而有效的条件方法，预先训练的 Seq2Seq 模型在低资源环境下胜过了其他数据增强方法，在数据分布和类标签信息保存方面也进行了探讨。

Mar, 2020

本研究通过使用辅助任务和优化训练顺序，针对神经语法错误校正的问题，提出了一种高效利用数据的方法，利用较小规模的基于 BART 模型（400M 参数）的结果优于基于 T5-XXL 模型（11B 参数）的最佳模型。

Nov, 2023

该研究提出了一种简单的数据增强方法 SeqMix，用于鼓励神经模型针对序列问题的组合行为，该方法可以使神经网络捕获自然语言中的组合特征，旨在提高机器翻译和语义分析等任务的性能。

Nov, 2020

本文论述了使用 Seq2Seq 预训练方法和多任务细调方法，建立单一和联合预训练模型，并取得最先进的性能，以提高抽象意义表示 - AMR - 解析的数据集规模限制问题。

Oct, 2020

本文提出了一种简单的数据增强协议，旨在为条件和无条件序列模型提供组合归纳偏置。经过测试，该协议可以应用于神经序列到序列模型和 n-gram 语言模型，使得错误率和困惑度均有所降低。

Apr, 2019