tf.data 是一个为构建和执行高效机器学习输入流水线而设计的框架，它提供了各种操作符用于定义计算，已经可以应用于不同的机器学习领域。我们展示了输入流水线的性能对于机器学习模型的训练时间至关重要，tf.data 的特性可以避免手动性能优化，实现高效的输入流水线。我们的分析为将计算与存储结合起来，推送数据处理到存储层提供了未来研究方向。

Jan, 2021

GPipe 是一种管道并行库，它提供了一种高效进行模型并行化的方式，可以将不同子层序列分别放在不同的加速器上，因此可以有效地将各种不同的网络扩展到巨大的规模，并且能够实现快速的线性加速，通过对两个不同任务的训练，证明了 GPipe 的优势。

Nov, 2018

本文介绍了一个能够支持自然语言处理工作流的开源框架，该框架包含了一个统一的数据表示方法和一个包含处理器、可视化和注释的大型处理库，提供了简单组装和互操作性，并能够轻松扩展以接入其他自然语言和深度学习库。

Mar, 2021

本文提出了一种名为 SapientML 的自动机器学习技术，通过从现有数据集中学习人类编写的管道，实现针对新数据集的高质量管道的快速生成，采用了一种三阶段程序合成方法来进行搜索空间的有效管理。评估结果表明，在 41 个基准数据集中，SapientML 在 27 个基准数据集上的表现最佳或与最佳工具相当。

Feb, 2022

本文针对输入数据管道对训练 DNN 模型的影响展开研究，使用 DS-Analyzer 工具精确测量数据阻塞时间，提出 CoorDL 数据加载库来缓解数据阻塞问题，并在多个 DNN 模型、数据集、硬件配置上进行验证，结果显示相对于 DALI 数据加载库，使用 CoorDL 数据加载库可以显著降低 DNN 训练时间。

Jul, 2020

KeystoneML 是一个系统，可捕获和优化端到端的大规模机器学习应用程序，并在分布式环境中进行高吞吐量的训练，以提高其性能和易用性，优化执行可使实际的图像分类应用程序中的训练吞吐量提高 15 倍。

Oct, 2016

在本研究中，我们提出了一种新的维度，即在单个训练序列中执行流水线并行处理，以用于 Transformer-based 语言模型的高效训练，并开发了一种基于动态规划的算法 TeraPipe，用于进行同步模型并行训练。我们证明，TeraPipe 可以在使用 48 个 p3.16xlarge 实例的 AWS 集群上将最大的包含 1750 亿参数的 GPT-3 模型的训练速度提高 5.0 倍，相比最先进的模型并行方法，具有更细粒度的流水线并行处理。

Feb, 2021

本文提出了一种新的 AutoML 系统，利用矩阵和张量分解作为代理模型，通过贪心实验设计协议来高效收集有关新数据集的信息，从而解决数据科学家在选择适当的监督式学习模型时面临的挑战。经过对大型实际分类问题的实验，证明了这种方法的有效性。

Jun, 2020

PipeDream 是一个用于 GPU 的深度神经网络 (DNN) 训练系统，使用管线并行计算模型来避免数据并行训练面临的慢速问题，并通过在多台机器上分别执行来减少通讯，使所有可用的 GPU 保持高生产效率。PipeDream 还使用循环排列的方式实现正向 / 反向传播以优化 时间精度，相对于数据并行训练，其可将通信减少高达 95％，达到了 5 倍的训练加速比。

Jun, 2018

本研究提出了 PipeTransformer 来提高 Transformer 模型的多节点分布式训练效率，该方法通过自动化管线处理和数据并行来动态调整管线和并行策略，从而实现层的冻结和资源分配，结果表明 PipeTransformer 相较于现有算法可以提高 2.4 倍速度。

Feb, 2021