该研究介绍了一种基于全局序列评分学习的Sequence-to-Sequence(seq2seq)模型和波束搜索训练方案，通过避免局部训练的传统偏差问题，统一训练损失和测试时间使用，并保留seq2seq的有效训练方法。在单词排序、解析和机器翻译三个不同的序列到序列任务中，该系统优于基于注意力的seq2seq系统高度优化的系统和其他基准线。

Jun, 2016

本文提出了一种通用的无监督学习方法，用于改善序列到序列模型（seq2seq）的准确性；其主要是通过使用两个语言模型的预训练权重对seq2seq模型的encoder和decoder进行初始化，并使用标记数据进行微调，最后将其应用于机器翻译和抽象概述中。研究结果表明，预训练可以提高seq2seq模型的泛化性能，进而取得了WMT英德翻译任务的最新的最佳BLEU分数，其人工评估结果也得到有力佐证。

Nov, 2016

该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为10.6％，与trigram语言模型一起达到了6.7％的词错误率。

Dec, 2016

本文提出了一种视觉分析工具，通过交互式的方式使得我们可以了解神经序列到序列模型训练过程中学习到的模式和检测模型错误，并通过多个实际大规模序列-to-序列应用程序验证了该工具的实用性。

Apr, 2018

CODE2SEQ是一种利用编程语言的语法结构更好地对源代码进行编码的方法，其利用组成路径的集合将代码片段表示为其抽象语法树（AST），使用注意力机制来选择相关路径来解码，该方法在两种编程语言和四个数据集上的两个任务中表现出卓越的性能，并超过了针对编程语言的先前模型以及最先进的NMT模型。

Aug, 2018

本文提出使用多语言数据建立先前模型，结合迁移学习的方法，通过在10个BABEL语言中训练seq2seq模型来改进音频识别，同时在解码时加入循环神经网络语言模型(RNNLM)来进一步提高模型的表现，实验结果表明，将先前的多语言模型应用于4种其他BABEL语言可以有效提高识别的准确度，并且加入RNNLM辅助也可以带来显著的性能提升。

Oct, 2018

fairseq 是一个开源的序列建模工具包，基于 PyTorch，支持在多个 GPU 和多台机器上训练自定义模型以进行翻译、摘要、语言建模和其他文本生成任务。

Apr, 2019

本文研究了现有的seq2seq预训练模型中存在的问题，提出了一种基于编码器自监督学习的预训练策略E2S2，并通过在多个自然语言理解和生成任务中的实验证明了其可行性及有效性。

May, 2022

本研究通过将基于编码器和基于序列到序列模型初始化来提高预训练效率，并展示了这种双阶段方法可以获得多语言编码器和序列到序列模型的表现，同时减少了总计算成本约 27%。

Jun, 2023

大型语言模型（LLM）在多个自然语言处理任务上展现出卓越性能。本报告介绍了OpenBA，这是一个开源的150亿双语不对称seq2seq模型，为中文导向的开源模型社区做出了贡献。我们通过有效且高效的技术增强了OpenBA，并采用三阶段训练策略从头开始训练模型。我们的解决方案在只有380B令牌时也能达到与LLaMA-70B在BELEBELE基准上、BLOOM-176B在MMLU基准上、GLM-130B在C-Eval（难）基准上相媲美的性能。本报告提供了有关类似模型的预训练的主要细节，包括预训练数据处理、双语Flan数据收集、启发我们模型架构设计的经验观察、不同阶段的训练目标以及其他增强技术。我们重构了代码以符合Huggingface Transformers Library的设计原则，使其对开发者更加方便使用，并在https URL（此处提供链接）上发布了不同训练阶段的检查点。有关我们项目的更多详细信息，请访问https URL（此处提供链接）。

Sep, 2023