提出 InfAdapter 系统，使用机器学习变体及其资源分配来满足延迟服务级别目标（SLO），同时最大化由准确性和成本组成的目标函数，从而降低 SLO 违规和成本高达 65％和 33％。

Apr, 2023

通过使用深度学习模型的不同版本来动态配置批处理大小、复制和模型变体，IPA 系统可以有效地优化准确性、降低成本并满足用户定义的延迟要求。实验结果显示，IPA 可以提高规范化准确性达到 35%，而成本只增加不到 5%。

Aug, 2023

Inferflow 是一个有效且高度可配置的推理引擎，适用于大规模语言模型（LLMs）。通过修改相关配置文件中的几行代码，用户可以简单地为大多数常见的 Transformer 模型提供服务，而无需编写源代码。相比其他推理引擎，Inferflow 具有一些关键特性：首先，通过实现原子建模块和技术的模块化框架，Inferflow 可以普遍适用于新模型；其次，引入了 3.5 位量化作为 3 位量化和 4 位量化之间的折中；第三，Inferflow 引入了混合模型分区以进行多 GPU 推理，以更好地平衡推理速度和吞吐量，超过了现有的按层分区和按张量分区策略。

Jan, 2024

深度学习推荐模型（DLRM）是许多现代推荐系统的重要组成部分。本文研究数据摄取问题的独特特性，提出了基于强化学习的数据流程优化方案 InTune，通过更有效地并行化数据加载和提高吞吐量，显著提高了在线数据摄取速率，并降低了空闲时间，增加了效率。

Aug, 2023

通过将模型图分成 k 个阶段并减少瓶颈阶段的运行时间，我们通过最小化通信成本来优化深度神经网络（DNN）推理的流水线并行性。我们设计了针对这个 NP 困难问题的实际算法，并通过与通过新颖的混合整数规划（MIP）公式获得的强下界进行比较，证明它们在实践中几乎是最优的。我们将这些算法和下界方法应用于生产模型，从而在与标准组合下界相比，获得了显著改进的近似保证。这项工作表明，尽管最大吞吐量划分在理论上很困难，但我们在实践中对该问题的算法方面有所掌握，剩下的挑战主要在于开发更准确的成本模型以提供给划分算法。

Nov, 2023

我们提出了一种新颖的相关性分组机制，使开发人员能够表达特定应用程序的数据访问相关性，以实现对托管流推断任务的服务器集群中的数据对象的协调管理，从而取得显著更低且更一致的延迟，提高节点利用率，并且只需要对应用程序的编码进行少量修改。

Nov, 2023

深度学习模型推理延迟预测的新框架和新方法 MEDN 在综合实验中展现了较高的准确性和 R 方值。

Dec, 2023

该研究旨在提高 Transformers 模型的生成推理效率，并通过多维分区技术、低级优化等策略获得较佳的推理效率和 FLOPS 利用率权衡，从而支持 Token 的大批量处理和长文本生成。

Nov, 2022

这篇文章介绍了通过制定一套标准的机器学习基准测试和评估准则来评估以不同结构构建的机器学习硬件和软件系统的性能，以解决各种机器学习结构的评估所面临的挑战。

Nov, 2019

Hotline 是一种数据感知和模型感知调度 pipeline，它通过实现一种动态的硬件加速器和馈送到 GPU 的方法，通过 GPU 加速减少训练时间，相比于现有的 CPU-GPU 混合模式，Hotline 平均训练时间降低了 3 倍，并且将整体训练吞吐量增加到每小时 35.7 个 epochs。

Apr, 2022