May, 2019

Parity Models: 机器学习推理中编码鲁棒性的通用框架

PDF
TL;DR提出了一种新颖的泛化框架 ParM，通过擦除编码和机器学习的思想，将多个查询输入表示为一个奇偶校验查询，使用奇偶模型推导结果，降低了预测系统遇到减速和故障时的尾部延迟和性能下降。
machine learningprediction servinglatencyparmresilience
发现论文，激发创造
  • 拼贴推理：使用编码冗余模型在分布式图像分类期间实现低尾延迟

    提出了一种使用 Collage-CNN 模型结合 MLaaS 平台的低成本冗余框架来降低 Inference 的尾延迟，并降低推理延迟的变异性的方法。实验表明，相对于以复制为基础的方法，可以将推理的 99-percentile 尾延迟降低 1.47 倍，同时保持高准确性。

    Jun, 2019

  • 面向可适应优化算法的灵活准确性导向深度学习模块推断延迟预测框架

    深度学习模型推理延迟预测的新框架和新方法 MEDN 在综合实验中展现了较高的准确性和 R 方值。

    Dec, 2023

  • 推理服务系统的高精度、成本效益和低延迟的调和

    提出 InfAdapter 系统，使用机器学习变体及其资源分配来满足延迟服务级别目标（SLO），同时最大化由准确性和成本组成的目标函数，从而降低 SLO 违规和成本高达 65％和 33％。

    Apr, 2023

  • Parm: 大规模稀疏激活模型的高效训练与专用计划

    Parm 是一个加速 MP+EP+ESP 训练的系统，通过设计两个专用调度来消除冗余计算和通信任务，实现节点内和节点间通信的重叠，从而减少总体训练时间。在 8-GPU 服务器和 32-GPU 集群上的实验结果表明，Parm 优于最先进的 MoE 训练系统 DeepSpeed-MoE，在 1296 个手动配置的 MoE 层上获得 1.13 倍至 5.77 倍的加速，并在基于 BERT 和 GPT-2 的两个真实 MoE 模型上实现了大约 3 倍的改进。

    Jun, 2024

  • APAR: LLMs 可以进行自动并行自回归解码

    通过并行自回归生成的方法以及与推理解码相结合，可以显著提高大型语言模型的生成速度和性能。

    Jan, 2024

  • 硬件感知并行提示解码用于 LLM 推理的内存高效加速

    提出一种新颖的并行提示解码方法，仅需 $0.0002$% 的可训练参数，在 16 小时内可在单个 A100-40GB GPU 上进行高效训练，大大提高多令牌生成的接受率以及未来时间步骤的输出生成速度。

    May, 2024

  • InPars-v2: 信息检索高效数据集生成器的大型语言模型

    通过使用开源的大型语言模型和现有强大的重排序器，InPars-v2 提出了一种用于生成训练数据的合成查询 - 文档对的数据集生成器，并通过简单的 BM25 检索管道和使用 InPars-v2 数据微调的 monoT5 重排序器，取得了 BEIR 基准测试的最新最优结果。

    Jan, 2023

  • 预测管道解码：实现精确 LLM 解码的运算延迟平衡

    本文提出了一种名为 “预测管线解码（PPD）” 的方法，该方法采用额外的计算资源来并行化当前令牌解码期间下一个令牌解码的启动，从而加快了大型语言模型的贪婪解码速度，并降低了解码延迟。

    Jul, 2023

  • 高效译码的投机流水线执行

    通过使用预测值，基于 Transformer 架构的生成式大型语言模型 (SPEED) 能够并行地执行当前令牌以及多个未来令牌，从而提高推理效率，减少延迟，并在保持模型准确性的同时实现支持参数共享的更深层次解码器的训练。

    Oct, 2023

  • 通过联合设计激活函数进行深度神经网络的快速和私密推断

    介绍了一种基于多方计算的机器学习服务（MLaaS）的方法，通过使用多项式逼近替换 ReLU 激活函数和采用单轮 MPC 协议进行评估，实现了在大型模型上快速准确的推理，从而保护客户数据隐私。

    Jun, 2023