speedups | BriefGPT - AI 论文速递

关键词speedups

搜索结果 - 8

FLUX: 通过内核融合在 GPU 上实现快速的基于软件的通信重叠
Flux 是一种新方法，通过细粒度操作和融合以有效地隐藏通信并提高内核效率，可以在集群上实现训练和推断的速度提升。
PDF25 days ago
大型语言模型的分布式推理
该研究介绍了分布式推理和大型语言模型加速的方法，通过使用分布式推理算法（DSI）可以获得比传统方法更快的推理速度。
PDFa month ago
DISTWAR：基于光栅渲染管线的快速可微分渲染
基于 DISTWAR 的软件方法在不同 iable 渲染工作负载上实现了平均 2.44 倍的显著加速（最高可达 5.7 倍）
PDF7 months ago
大语言模型推理加速的稀疏微调
我们研究了大型语言模型的精确稀疏微调问题，通过引入稀疏权重在专门的任务上微调预训练的语言模型。我们提出了一种称为 SquareHead 的基于 L2 范数的蒸馏方法，能够在高稀疏率下实现准确恢复，并展示了稀疏语言模型在 CPU 和 GPU
PDF9 months ago
NIPS移动设备上高性能超低精度卷积
通过对 ARMv7 设备上现代深度学习工作负载所需的核心基本操作进行开源实现和全面分析，我们展示了与现有市场上的 float32 和 int8 基准相比，使用大于 4 位精度的最先进的超低精度技术可获得 4 倍至 20 倍的加速度。
PDF7 years ago
ICLR使用 ConvNets 的快速阅读理解
本文介绍了一种卷积架构，用简单的扩张卷积单元代替循环单元，取得了与循环神经网络同等水平的结果，在回答问题方面获得了多达两个数量级的加速。
PDF7 years ago
Metropolis-Hastings 算法的高效小批次接受性检验
本文提出了一种新颖的 Metropolis-Hastings 方法，用于大型数据集，使用期望大小较小的数据小批量，其测试成本类似于普通 SGD 更新，并且可以比之前的方法实现多个量级的加速。
PDF8 years ago
使用信念传播法进行永久逼近
使用信念传播方法高效地近似矩阵永久性，并演示了这种近似的优点。
PDF15 years ago