hardware efficiency | BriefGPT

关键词hardware efficiency

搜索结果 - 12

OutlierTune: 大语言模型的高效通道量化
OutlierTune 是一种针对 LLMs 激活的高效后训练量化方法，它通过预执行去量化和对称化两个组件，解决了大规模语言模型的激活量化准确性和硬件效率问题。
PDF7 days ago
基于 FPGA 的可重构卷积 - 变换器混合高效 ViT 加速器
本研究提出了一种基于 FPGA 的加速器，用于提高 Vision Transformers 的硬件效率，其中采用了可重构的架构以支持各种操作类型，并通过时分复用和流水线数据流来降低片外数据访问成本，实验证明其在 Xilinx ZCU102
PDF3 months ago
高效单图像超分辨率的百千字节查找表
本文介绍了一种新型的百千字节查找表（HKLUT）模型，通过利用两个不对称分支的多级网络以及一套专门的核心模式，解决了存储难题，并在硬件效率上表现出卓越的性能。
PDF7 months ago
深度学习的微调数据格式
窄位宽数据格式是降低现代深度学习应用的计算和存储成本的关键。本文评估了使用分区缩放因子和狭窄的浮点和整数类型结合的微标度（MX）数据格式。MX 格式平衡了硬件效率、模型准确度和用户摩擦之间的竞争需求。超过两打基准实验证明了 MX 数据格式作
PDF9 months ago
SmoothQuant：大型语言模型后训练量化的准确高效算法
SmoothQuant 是一个训练免费的精度保持、通用的后训练量化解决方案，用于大型语言模型（LLMs），通过平滑激活异常值并在权重和激活之间进行数学上等效的变换以迁移量化难度，可以实现 LLMs 的 8 位权重和激活（W8A8）量化，同时
PDF2 years ago
ICMLDepthShrinker：一种压缩范例，用于提高紧凑型神经网络在实际硬件中的效率
本研究提出了一种新的压缩范式：DepthShrinker，可通过将现有深度神经网络的基本构建块缩小为具有更改进的硬件利用率的密集块来开发硬件友好的紧凑网络，从而提高硬件效率并维持模型准确性，DepthShrinker 框架能够提供优于当今最
PDF2 years ago
PVNAS: 3D 点 - 体素卷积神经结构搜索
该研究通过结合基于点和基于体素的模型，提出一种硬件高效的三维卷积方法，并进一步融合稀疏卷积，以更有效地处理大场景，从硬件效率的角度系统研究三维深度学习。在此基础上，引入三维神经架构搜索来探索最佳三维网络架构，并在六个典型基准数据集上评估其
PDF2 years ago
ECCV可微联合剪枝和量化提高硬件效率
我们提出了一种可微的联合剪枝和量化 (DJPQ) 方案，将神经网络压缩视为联合基于梯度的优化问题，在模型剪枝和量化之间自动地进行权衡，以实现硬件效率，相比之下，我们的方法使用户能够在单个培训过程中找到两者之间的最佳权衡。
PDF4 years ago
ICMLPENNI: 高效 CNN 推断的裁剪核共享
提出了一种基于核分解的 CNN 模型压缩框架 PENNI，通过内核共享和稀疏约束，可以同时实现模型简洁和硬件效率，实验结果显示在不影响精度的情况下，可以裁剪 97% 的参数和 92% 的 FLOPs，减少 44% 的内存和 53% 的推理延
PDF4 years ago
面向内存计算神经加速器的器件 - 电路 - 体系结构联合探索
本研究提出跨层设计的 NACIM 框架，将计算在内存中的架构和硬件设计相结合，同时考虑设备差异和电路拓扑，旨在找到具有高网络精度和最大化硬件效率的最有效的神经架构，在存在设备变异的情况下准确率损失最小，能效高达 16.3 TOPs/W，相比
PDF5 years ago
PABO: 伪代理多目标贝叶斯超参数优化用于高效神经加速器设计
本文提出一种新的基于伪代理的多目标深度神经网络和硬件超参数优化方法，主要为 memristive 交叉栅极加速器设计高精度且具有硬件效率的 DNN，使用了基于贝叶斯优化的方法实现在保证硬件成本效益的前提下提高 DNN 性能，得到的 PABO
PDF5 years ago
硬件感知机器学习：建模与优化
本篇论文全面评估现有的面向硬件的深度学习模型建模和优化方法，提出几个值得探讨的研究方向，旨在让深度学习的应用对硬件系统和平台产生显著影响。
PDF6 years ago