8-bit quantization | BriefGPT

关键词8-bit quantization

搜索结果 - 7

针对量化 Transformer 的高能效注意力和 Softmax 加速器
该论文提出了 ITA，一种新颖的加速器架构，用于 Transformer 模型和相关模型的高效推理，通过利用 8 位量化和一种仅操作整数值的创新 softmax 实现，在嵌入式系统上实现了低功耗和高效能。ITA 在能效上与最先进的 Tran
PDFa year ago
CVPR基于锚点的移动端图像超分辨率普通网络
本文研究高效图像超分辨率算法的 8 位量化，提出了一种适用于移动设备的基于锚点神经网络的算法，并采用定量化训练策略，使该模型在保证性能的情况下可以胜过当前同类算法。
PDF3 years ago
2020 AMTA 平台上的 Sockeye 2 神经机器翻译工具包
Sockeye 2 是基于 MXNet 的 Gluon API 开发的神经机器翻译工具包，采用分布式混合精度训练、8 位量化的高效 CPU 解码等新特性，从而实现更快的训练、更高的自动度量分数，研究与生产部署的路径更短的优化。
PDF4 years ago
深度学习推理的整数量化：原理与实证评估
本文介绍了量化技术如何减小深度神经网络的规模，提高推理延迟和吞吐量，并评估它们在各种应用领域的不同神经网络模型上的选择，包括视觉、语音和语言等方面，并重点介绍适用于高吞吐量整数数学流水线处理器加速的量化技术。同时，还提供了一种 8 位量化工
PDF4 years ago
ICMLSWALP ：低精度训练中的随机权重平均
SWALP 是一种低精度训练方法，可提高可扩展性，节省内存，提高可移植性和节能效果，在 8 位量化下，包括梯度累加器，在保持与完全精度 SGD 相匹配性能的同时，使用修改的学习率计划平均低精度 SGD 迭代。此外，该方法还表现出良好的收敛性
PDF5 years ago
ACL八省份: 8 位神经机器翻译
在这篇论文中，我们展示了使用 8 位量化对使用 32 位浮点值进行训练的模型进行翻译的有效性，结果表明 8 位翻译在速度上有不可忽略的影响，而在准确性和充分性上没有退化。
PDF6 years ago
CVPRLCDet: 用于嵌入式系统目标检测的低复杂度全卷积神经网络
本文提出了一种 LCDet 的全卷积神经网络，旨在用于嵌入式系统上的对象检测。作者设计并开发了一个端到端的 TensorFlow (TF) 模型，并采用 8 位量化技术。实验结果显示，该模型在保持准确率的同时，将模型大小和内存带宽分别减少了
PDF7 years ago