fairseq: 一个快速、可扩展的序列模型开发工具包
Fairseq S2T 是一款扩展 fairseq 的语音转文本建模工具，具备可扩展和可扩展性设计，提供端到端的工作流程，支持 RNN-based, Transformer-based 和 Conformer-based 模型，并可以无缝集成多任务学习或迁移学习中的机器翻译模型和语言模型。
Oct, 2020
本文介绍了 fairseq S^2，它是为语音合成设计的 fairseq 扩展，具备多种自回归和非自回归文本到语音模型及其多说话人变体。此外，还构建了多种预处理工具，以便使训练语音合成模型所需的数据更易获取。这篇论文还展示了一套自动度量标准，以方便进行快速的开发和分析。fairseq S^2 不仅具有为此扩展添加的特点，还受益于 fairseq 提供的可扩展性，并可以轻松地与该框架中提供的其他最先进的系统集成。
Sep, 2021
本文介绍了基于 Transformer 的自然语言生成模型在解码过程中存在推理速度瓶颈，提出了 FastSeq 框架以加速序列生成，采用了注意力缓存优化、重复 n-gram 检测、并行 IO 等优化技术，有效提升了推理速度，并且可以适用于多种 Transformer-based 模型，其中代表性的 T5、GPT2 和 UniLM 等。
Jun, 2021
本文提出 LightSeq，一种高效的推断库，以加速 Transformer 系列模型的计算和减少内存占用。实验结果表明，相较于 TensorFlow 和 FasterTransformer，LightSeq 可以实现多达 14 倍的加速。
Oct, 2020
该研究介绍了 Inseq，一种 Python 库，以民主化访问序列生成模型的可解释性分析，展示了它在减少机器翻译如何存在性别偏见和定位 GPT-2 中的事实知识方面的潜力。
Feb, 2023
OpenSeq2Seq 是一款基于 TensorFlow 的工具包，用于训练序列到序列模型，旨在提供分布式和混合精度的训练，实验结果表明 OpenSeq2Seq 构建的模型在翻译和语音识别方面表现出色，训练时间仅为以往 1.5-3 倍，且适用于包括神经机器翻译、自动语音识别和语音合成等多种任务。
May, 2018
AutoNMT 是一个自动化的框架，可以对 seq-to-seq 模型的研究进行流程化，包括数据管道、实验工具箱和报告生成等，并配有自定义 seq-to-seq 工具箱以方便用户进行非标准任务。
Feb, 2023
FairX 是一个开源的基于 Python 的基准测试工具，旨在综合分析公平性、效用性和可解释性（XAI）模型的广泛名称，能够训练基准测试去偏置模型并使用多种公平度量标准、数据效用度量标准评估其公平性，并针对模型预测生成解释，所有这些均在统一框架内进行。
Jun, 2024
通过使用 DiffuSeq，我们设计了一种扩散模型，可用于序列到序列文本生成任务，具有与预训练语言模型等六种基线相比甚至更好的性能和高多样性。我们还包括理论分析，揭示 DiffuSeq 和自回归 / 非自回归模型之间的连接，并展示了扩散模型在复杂条件语言生成任务中的巨大潜力。
Oct, 2022