batching | BriefGPT - AI 论文速递

关键词batching

搜索结果 - 9

无性能损失的批量顺序减半算法
本文研究了多臂赌博机中纯探索问题，特别关注批处理中的臂拉取情况。我们引入了一个简单的批处理版本的顺序减半算法，并从理论上证明在实际条件下批处理不会降低原算法的性能。此外，通过实验证明了顺序减半算法在固定批处理设置下的稳健性。
PDFa month ago
使用 Sarathi-Serve 调节 LLM 推理中的吞吐量 - 延迟平衡
介绍了一种高效的 LLM 推理调度器 Sarathi-Serve，通过利用来自 Sarathi 的分块预填充技术，创建无停顿的调度，可以在正在进行的解码过程中批量添加新的请求，从而提高吞吐量，同时将对延迟的影响降至最低。
PDF4 months ago
大型语言模型在服务中采用预测解码和批处理的协同效应
对于大型语言模型（LLMs）如 GPT，提出了一种新的自适应推测解码策略，通过批处理和推测解码技术提高 GPU 硬件利用率，并在各种 LLM 模型和 GPU 架构上进行了广泛的特征分析，结果显示新方法能够达到与固定长度推测解码方案相等或更好
PDF8 months ago
大规模语言模型服务的高效内存管理与 PagedAttention
大规模语言模型的高吞吐量通过批处理大量请求实现，本研究提出了 PagedAttention 算法和 vLLM 系统，用于减少关键值缓存（KV cache）内存的浪费和冗余复制，改善系统的吞吐量和内存利用率。
PDF10 months ago
有监督对比损失学习正交框架及批次关系
本文通过实验证明：监督对比损失学习到的嵌入空间的几何结构形成正交框架，而交叉熵损失学习到的嵌入空间的几何结构高度依赖于类大小；同时，通过选取不同的数据分组算法，加快正交框架的出现，为监督学习提供一种新的训练策略
PDFa year ago
ACRoBat：动态深度学习的编译时自动批处理优化
本文介绍了一种名为 ACRoBat 的混合静态 + 动态编译优化和端到端张量代码生成的框架，以实现对动态深度学习计算的高效自动批处理，相比自动批处理的最新框架 DyNet，ACRoBat 在 Nvidia GeForce RTX 3070
PDFa year ago
MM基于 SMDP 的 GPU 平台高效推断动态分批
本文提出了一种动态批处理策略，该策略可以在 GPU 上实现高效算法和长时间响应之间的平衡，通过将 GPU 推理服务建模为一个批处理服务队列，然后将设计问题转化为半马尔可夫决策过程，通过解决一个相关的离散时间马尔可夫决策过程问题获得最优策略。
PDFa year ago
MLProxy: 面向无服务器计算平台的 SLA 感知机器学习推理反向代理
本文介绍了 MLProxy，它是一种自适应反向代理，支持在无服务器计算系统上高效地处理机器学习服务工作负载。通过适应性批处理，MLProxy 可以确保满足 SLA 要求的同时优化无服务器成本，为服务器无部署降低了高达 92％的成本，同时将
PDF2 years ago
LazyBatching：面向云机器学习推断的考虑 SLA 的批处理系统
本研究提出了考虑调度和分批的 LazyBatching 技术，采用独立的图节点粒度实现了对动态推理请求的优化，并比 Graph batching 在平均响应时间、吞吐量和 SLA 满足度方面实现了 15 倍、1.5 倍和 5.5 倍的提高。
PDF4 years ago