本研究旨在通过建立使用预训练语言模型的（心理）语言学特征的透明度较高的文本简化系统来提高可解释性和可控性，并利用提前设定的十种属性，拓展一种 Seq2Seq TS 模型，使其能够明确控制多个属性。实验证明我们的方法在解释复杂度预测方面表现优异，并且通过明确地将 Seq2Seq 模型的条件限制于十个属性，其性能在领域内外环境中均有显著提高。

Dec, 2022

LaserTagger 是一种将文本生成转换为文本编辑任务的序列标注方法，并通过使用 BERT 编码器和自回归 Transformer 解码器的新型模型来预测编辑操作。在四个任务中测试表明，LaserTagger 在三个任务上取得了新的最优结果，并在训练示例数量有限的情况下优于 seq2seq 模型。同时，LaserTagger 在推理时的标注速度比相似的 seq2seq 模型快两个数量级。

Sep, 2019

本文介绍了文本编辑模型和 seq2seq 模型，分析了它们的优缺点，探讨了生产化和应对文本生成中的幻觉和偏见等挑战。

Jun, 2022

本文通过使用 LSTM Encoder-Decoder 模型实现了句子级别的文本简化，该方法与传统的基于词法规则或手动定义规则的方法相比具有更好的效果。该模型可以学习具有一定规律的操作，如反转、排序和替换，因此可以被应用于修改句子结构、替换和删除单词等文本简化中。

Sep, 2016

本研究提出了一种基于迭代文本编辑的数据到文本生成新方法，使用两个先前训练模型 LaserTagger 和 GPT-2，并通过简单的启发式筛选和已训练语言模型对输出进行筛选和重新排序。

Nov, 2020

本文提出了一种多任务学习框架，利用文本数据来提高自动语音识别和语音翻译的性能，其中包括基于注意力的序列到序列建模、去噪自动编码器、机器翻译等技术。在英语语音识别任务中，该方法相对于基线线下降了 10~15% 的词错误率，在 MuST-C 任务中有 3.6~9.2 BLEU 的提高。

Oct, 2020

本文探讨了一种新的持续性的预训练策略，通过把 BART 模型继续预训练来生成简单的文本，从而提高简化任务的表现，同时与其他大型语言模型进行了比较。

May, 2023

本文介绍了一种基于句法指导的 Transformer 模型（SynST），它可以在预测出分块解析树之后自动并行地生成目标语言的所有标记，从而提高了翻译速度。一系列的实验表明，相比基线的自回归 Transformer 模型，SynST 模型在 En-De 和 En-Fr 数据集上实现了更高的 BLEU 分数，且速度快了约 5 倍。

Jun, 2019

介绍了我们在 WMT'22 翻译建议共享任务中提交的系统，该系统基于多种翻译架构的集合，并使用三种策略构建合成数据以补偿监督数据的缺乏，并引入多阶段预训练策略，并在英德和英汉双向任务中排名第二和第三。

Oct, 2022

本文通过超过 1000 次实验，研究了 14 种不同的格式，发现其中一个新的格式既简单又有效，在多语言情况下也表现出显著的优势，并且几乎没有幻觉问题。这些发现为我们解决序列标注任务提供了强有力的经验基础。

Mar, 2022