memory bandwidth | BriefGPT

关键词memory bandwidth

搜索结果 - 8

查找表量化 LLM 的快速矩阵乘法
使用 FLUTE 内核可以提高大型语言模型的推理速度，尤其在权重非均匀、查找表量化的情况下，通过离线重构量化权重矩阵，最小化位操作，并通过向量化和查找表的复制来减轻共享内存带宽限制，可以使 FLUTE 内核比现有的 GEMM 内核快 2-4
PDF12 days ago
人工智能与内存壁
通过分析编码器和解码器 Transformer 模型，我们展示了在解码器模型中内存带宽如何成为主要的瓶颈，并提出了模型架构、训练和部署策略的重新设计来克服这一内存限制。
PDF4 months ago
使用处理内存中的哈希嵌入加速技术
HEAM 是一种异构内存架构，通过整合 3D 堆叠 DRAM 和 DIMM 来加速个性化推荐系统中的组合嵌入运算，有效减少了银行访问、提高了访问效率，并在总体吞吐量上实现了 6.3 倍的加速和 58.9% 的能源节省。
PDF6 months ago
加速器驱动的数据排列在多核架构上最小化变压器运行时间
提出了一种新颖的内存数据排列策略，通过硬件加速器的内核大小来有效减小芯片外数据访问，特别对于基于广义矩阵乘法（GEMM）的终端到终端变压器模型推理尤为有益。本研究通过在单核和多核系统中实现和评估提出的加速器驱动的数据排列方法，证明了该方法能
PDF7 months ago
ZeroQuant-HERO: W8A8 变换器的硬件增强鲁棒优化后训练量化框架
Quantization techniques for deep neural network inference, specifically ZeroQuant-HERO framework, optimize memory bandwi
PDF9 months ago
卷积神经网络（CNN）的演进：边缘人工智能的计算与存储带宽
该论文探讨了卷积神经网络在边缘人工智能中的计算要求和存储带宽之间的关系，研究了模型复杂度增加对计算需求和存储访问模式的影响，并提供了计算需求和存储带宽要求之间权衡的比较分析，为设计有效架构和提升边缘设备上的卷积神经网络性能的硬件加速器提供了
PDF10 months ago
ACNPU: 一款 4.75TOPS/W 的 1080P@30FPS 超分辨率加速器与解耦异步卷积
提出一种名为 ACNPU 的高能效超分辨率加速器，通过使用分离的异态卷积和分流旁路结构，以及实现整体模型融合来提高图像质量，同时还能减少复杂性和内存带宽需求，达到 4.75 TOPS/W 的能量效率。
PDFa year ago
SqueezeLLM：紧密稀疏量化
通过引入 SqueezeLLM 后训练的量化框架，该框架不仅实现了高达 3 位的无损压缩，还在相同的内存约束下实现了更高的量化性能，可以将羊毛出在羊身上，仿佛神器一般。
PDFa year ago