May, 2024

Biathlon: 利用模型弹性优化加速 ML 推理管道

PDF
TL;DR介绍了一种名为 Biathlon 的新型 ML 服务系统，利用模型的韧性并确定每个聚合特征的最佳近似度，实现了最大速度提升，同时确保准确性损失的保证边界。通过在工业应用和数据科学竞赛中的实际管道上评估 Biathlon，证明了其在满足实时延迟要求方面的能力，实现了 5.3 倍至 16.6 倍的速度提升，几乎没有准确性损失。
machine learning inference pipelinesreal-time responsivenessinterpretable machine learningbiathlonspeedup with minimal accuracy loss
发现论文，激发创造
  • IPA：推理管道的适应性优化以达到高精度和成本效益

    通过使用深度学习模型的不同版本来动态配置批处理大小、复制和模型变体，IPA 系统可以有效地优化准确性、降低成本并满足用户定义的延迟要求。实验结果显示，IPA 可以提高规范化准确性达到 35%，而成本只增加不到 5%。

    Aug, 2023

  • KeystoneML: 优化大规模高级分析的流水线

    KeystoneML 是一个系统，可捕获和优化端到端的大规模机器学习应用程序，并在分布式环境中进行高吞吐量的训练，以提高其性能和易用性，优化执行可使实际的图像分类应用程序中的训练吞吐量提高 15 倍。

    Oct, 2016

  • 朝向持续学习的应用性能模型

    基于机器学习的性能模型在构建关键的作业调度和应用程序优化决策中越来越被使用。我们开发了持续学习性能模型，考虑到数据分布漂移，减轻灾难性遗忘，并提高泛化能力。我们的最佳模型能够保持准确性，无论系统变化引起的新数据分布，同时相比于朴素方法，在整个数据序列的预测准确度上提升了 2 倍。

    Oct, 2023

  • 机器学习数据适用性和性能测试的故障注入测试框架

    创建弹性机器学习系统对于确保生产就绪的机器学习系统并顺利获取用户信任已成为必要。输入数据和模型的质量对数据敏感系统的端到端测试成功具有高度影响。然而，与模型测试相比，输入数据的测试方法缺乏系统性且较少。为了填补这一空白，本文提出了一种基于故障注入技术的输入数据故障注入测试框架（FIUL-Data），该框架测试机器学习模型对多种故意引发的数据故障的弹性。数据变异器探索机器学习系统的脆弱性，针对不同故障注入效果。提出的框架基于三个主要想法设计：变异器不是随机的；在某个时刻应用一个数据变异器；事先优化选定的机器学习模型。本文使用来自分析化学的数据进行了 FIUL-Data 框架的实证评估，包括反义寡核苷酸保留时间测量。经验评估分为两个步骤进行，首先分析选定机器学习模型对数据变异的响应，然后对比彼此。结果显示 FIUL-Data 框架允许评估机器学习模型的弹性。在大多数实验情况下，较大的训练数据集上，机器学习模型表现出更高的弹性，在较小的训练集中梯度提升方法优于支持向量回归。总体而言，均方误差指标在评估模型弹性方面具有较高的敏感性。

    Sep, 2023

  • Birbal: 使用精选数据集进行高效的 7B 指令模型微调

    LLMOps 成本高、透明度低、模型训练方法和数据缺乏一致性，为解决这些问题，LMM Efficieny Challenge 提出了在有限时间内利用单一 GPU 对基础模型进行微调的任务，研究介绍了 Birbal，该模型经过精心设计的指导说明覆盖多个任务，成功地在一个 RTX 4090 上实现了 35% 的性能提升。

    Mar, 2024

  • 实时机器学习：遗失的部分

    针对机器学习在实时决策中的应用，提出需要一种新的分布式执行框架来实现毫秒延迟、高吞吐、任务图的自适应构建以及异构内核的执行等一系列要求，并提出了一个候选方案，其架构已经获得了 63 倍的性能提升。

    Mar, 2017

  • 推理服务系统的高精度、成本效益和低延迟的调和

    提出 InfAdapter 系统，使用机器学习变体及其资源分配来满足延迟服务级别目标（SLO），同时最大化由准确性和成本组成的目标函数，从而降低 SLO 违规和成本高达 65％和 33％。

    Apr, 2023

  • 自适应贝叶斯线性回归在自动化机器学习中的应用

    本文提出了一种元学习方法，利用先前的元数据自动搜索高性能的机器学习管道以完成模型选择和超参数优化，该方法结合自适应贝叶斯回归模型、神经网络基函数和贝叶斯优化的收获函数，能够在监督分类数据集上高效地搜索预定义的候选管道，实验结果表明，该方法在一系列测试数据集上能够快速确定高性能的机器学习管道，并胜过基线方法。

    Apr, 2019

  • InferLine: 面向严格延迟目标的 ML 预测流水线供应和管理

    本文提出了 InferLine 系统，该系统由低频组合规划器和高频自动化调试器组成，能够根据查询到达流程的变化自动调整各个阶段的自动缩放到达目标的阈值，从而实现最小化成本或实现服务水平目标，有效解决了跨多个模型和硬件加速器的 ML 预测流程的优化配置问题。

    Dec, 2018

  • InTune：基于强化学习的数据流程优化技术用于深度推荐模型

    深度学习推荐模型（DLRM）是许多现代推荐系统的重要组成部分。本文研究数据摄取问题的独特特性，提出了基于强化学习的数据流程优化方案 InTune，通过更有效地并行化数据加载和提高吞吐量，显著提高了在线数据摄取速率，并降低了空闲时间，增加了效率。

    Aug, 2023