BriefGPT.xyz
大模型
Ask
alpha
关键词
bitwidth
搜索结果 - 4
具有 4 位状态的内存高效优化器
通过详细的经验分析，本研究将优化器状态位宽降到 4 位，通过更好的量化方法，解决了动量中的离群值问题和二阶动量的零点问题，从而在自然语言理解、机器翻译、图像分类和指令优化等任务中实现了与全精度对应方法相当的准确性，同时提高了内存效率。
PDF
10 months ago
ICML
SDQ：带混合精度的随机可微量化
本文提出了一种新的随机可微量化（SDQ）方法，利用不同层和模块的优化比特宽度来自动学习混合精度量化策略，并利用熵感知的分 bin 正则化和知识蒸馏对网络进行训练，经过在不同硬件和数据集上广泛的评估，SDQ 在较低的比特宽度下优于所有最先进的
→
PDF
2 years ago
ECCV
一个比特宽度统治全球
本论文通过对模型宽度乘数的使用，研究了深度卷积神经网络中权重量化的最佳位宽选择，发现使用单一位宽比混合精度量化对模型压缩更优。
PDF
4 years ago
位加速：一种位级动态可组合架构，用于加速深度神经网络
本文提出一种新的 DNN 加速器设计 ——Bit Fusion，通过引入动态位级融合／分解，实现了对 DNN 层位宽进行动态匹配，提高了计算性能且无损精度。通过与现有 DNN 加速器模型的比较实验，Bit Fusion 在面积、频率与工艺技
→
PDF
7 years ago
Prev
Next