本文介绍了基于 Transformer 的自然语言生成模型在解码过程中存在推理速度瓶颈，提出了 FastSeq 框架以加速序列生成，采用了注意力缓存优化、重复 n-gram 检测、并行 IO 等优化技术，有效提升了推理速度，并且可以适用于多种 Transformer-based 模型，其中代表性的 T5、GPT2 和 UniLM 等。

Jun, 2021

本文提出 LightSeq，一种高效的推断库，以加速 Transformer 系列模型的计算和减少内存占用。实验结果表明，相较于 TensorFlow 和 FasterTransformer，LightSeq 可以实现多达 14 倍的加速。

Oct, 2020

InstructSeq 是一种多模态建模框架，通过灵活的自然语言控制和处理视觉和文本数据，将多样化的视觉任务统一起来。通过使用 LLM 生成的自然语言指令进行训练，InstructSeq 在指定视觉任务的自由形式指令理解方面具有强大的能力，并在语义分割、引用表达分割 / 理解和图像字幕等任务上取得了令人信服的性能。该模型的灵活控制和多任务统一使其具备了类似人类的多样性和泛化能力，并且即将发布其代码。

Nov, 2023

fairseq 是一个开源的序列建模工具包，基于 PyTorch，支持在多个 GPU 和多台机器上训练自定义模型以进行翻译、摘要、语言建模和其他文本生成任务。

Apr, 2019

本文介绍了一个名为 VizSeq 的工具包，它支持对文本生成任务进行系统实例级和语料级评估，并提供了多种可视化方式。其中包括常见的基于 n-gram 的指标以及最新的基于 BERTScore 的嵌入式指标。

Sep, 2019

本文提出了一种视觉分析工具，通过交互式的方式使得我们可以了解神经序列到序列模型训练过程中学习到的模式和检测模型错误，并通过多个实际大规模序列 - to - 序列应用程序验证了该工具的实用性。

Apr, 2018

该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

Dec, 2016

该研究介绍了一种基于全局序列评分学习的 Sequence-to-Sequence (seq2seq) 模型和波束搜索训练方案，通过避免局部训练的传统偏差问题，统一训练损失和测试时间使用，并保留 seq2seq 的有效训练方法。在单词排序、解析和机器翻译三个不同的序列到序列任务中，该系统优于基于注意力的 seq2seq 系统高度优化的系统和其他基准线。

Jun, 2016

本文介绍一种名为 FiD-Ex 的模型，它采用序列到序列的结构，通过引入句子标记、融合解码器结构和中间微调等方法来解决 Seq2Seq 模型中的问题，显著提高了模型的解释效果和准确性。

Dec, 2020

CODE2SEQ 是一种利用编程语言的语法结构更好地对源代码进行编码的方法，其利用组成路径的集合将代码片段表示为其抽象语法树（AST），使用注意力机制来选择相关路径来解码，该方法在两种编程语言和四个数据集上的两个任务中表现出卓越的性能，并超过了针对编程语言的先前模型以及最先进的 NMT 模型。

Aug, 2018