memory bandwidth | BriefGPT

关键词memory bandwidth

搜索结果 - 7

人工智能与内存壁
通过分析编码器和解码器 Transformer 模型，我们展示了在解码器模型中内存带宽如何成为主要的瓶颈，并提出了模型架构、训练和部署策略的重新设计来克服这一内存限制。
PDF3 months ago
使用处理内存中的哈希嵌入加速技术
HEAM 是一种异构内存架构，通过整合 3D 堆叠 DRAM 和 DIMM 来加速个性化推荐系统中的组合嵌入运算，有效减少了银行访问、提高了访问效率，并在总体吞吐量上实现了 6.3 倍的加速和 58.9% 的能源节省。
PDF5 months ago
加速器驱动的数据排列在多核架构上最小化变压器运行时间
提出了一种新颖的内存数据排列策略，通过硬件加速器的内核大小来有效减小芯片外数据访问，特别对于基于广义矩阵乘法（GEMM）的终端到终端变压器模型推理尤为有益。本研究通过在单核和多核系统中实现和评估提出的加速器驱动的数据排列方法，证明了该方法能
PDF6 months ago
ZeroQuant-HERO: W8A8 变换器的硬件增强鲁棒优化后训练量化框架
Quantization techniques for deep neural network inference, specifically ZeroQuant-HERO framework, optimize memory bandwi
PDF8 months ago
卷积神经网络（CNN）的演进：边缘人工智能的计算与存储带宽
该论文探讨了卷积神经网络在边缘人工智能中的计算要求和存储带宽之间的关系，研究了模型复杂度增加对计算需求和存储访问模式的影响，并提供了计算需求和存储带宽要求之间权衡的比较分析，为设计有效架构和提升边缘设备上的卷积神经网络性能的硬件加速器提供了
PDF9 months ago
ACNPU: 一款 4.75TOPS/W 的 1080P@30FPS 超分辨率加速器与解耦异步卷积
提出一种名为 ACNPU 的高能效超分辨率加速器，通过使用分离的异态卷积和分流旁路结构，以及实现整体模型融合来提高图像质量，同时还能减少复杂性和内存带宽需求，达到 4.75 TOPS/W 的能量效率。
PDF10 months ago
SqueezeLLM：紧密稀疏量化
通过引入 SqueezeLLM 后训练的量化框架，该框架不仅实现了高达 3 位的无损压缩，还在相同的内存约束下实现了更高的量化性能，可以将羊毛出在羊身上，仿佛神器一般。
PDFa year ago