low-precision | BriefGPT - AI 论文速递

关键词low-precision

搜索结果 - 10

FxP-QNet: 一种用于混合低精度 DNN 设计的训练后量化器，采用动态定点表示
本文提出一种新的深度神经网络固定点量化框架 (FxP-QNet)，该框架可以在保证网络精度的前提下，根据网络对低精度的需求动态地设计不同精度的量化级别。在基准测试 (ImageNet) 中，模型的内存需求得到了 7.16 倍 - 10.36
PDF2 years ago
FracTrain: 为高效 DNN 训练在时间和空间上实现分数压缩的比特节省
本研究提出了一种名为 FracTrain 的系统，通过渐进式的分数量化和动态分数量化的方式来降低神经网络训练的计算成本和硬件开销，同时实现可比拟或更高的准确率。
PDF4 years ago
CVPR使用偏差来对抗量化偏差
本文探讨了移动设备上深度神经网络低精度表示的问题，提出了一个简单的方法通过在通道的参数中添加一个常数来解决量化引起的移位问题，从而实现了对 MobileNet 架构的优化。
PDF5 years ago
IJCAI无 STE 学习低精度神经网络
该论文提出了一种 alpha-blending 替代 Straight-Through Estimator 的方法用于量化神经网络，该方法逐步将模型从全精度转化为低精度并在 CIFAR10 和 ImageNet 数据集上表现出更好的结果。
PDF5 years ago
使用近似激活的反向传播进行内存高效网络训练
本文提出了一种新的反向传播实现，通过使用近似来显著减少内存使用，使用相对较低的精度近似，而不影响训练准确性，并展示了其在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上的优异表现。
PDF5 years ago
可学习正则化的稀疏低精度神经网络学习
本文提出了一种使用低精度权重和操作的 DNN 学习方法，利用可学习的正则化系数来加强高精度权重收敛到量化值的能力，并研究了如何通过权重剪枝、量化和熵编码来建立低精度 DNN 压缩管道，实验结果显示该方法可以在 ImageNet 分类和图像超
PDF6 years ago
CVPRSYQ: 学习对称量化以实现高效的深度神经网络
本文介绍了一种量化方法 —— 通过学习特定权重子组的对称码本，来减少权重亚群在前向传播和反向传播中的梯度误差，从而提高超低精度权重和激活的网络的准确性，并证明此表示对更粗粒度的方法没有或仅有最小的硬件影响。该方法可用于神经网络量化。
PDF6 years ago
ICLR攻击二值化神经网络
利用低精度的神经网络进行量化，可以通过减少内存消耗和优化位运算实现更高的效率。本文提出低精度神经网络的第三个优点是在一些对抗攻击中有更好的鲁棒性，最坏情况下的表现也可以与高精度模型媲美。作者着重于量化权重和激活到 +-1 的非缩放二进制神经
PDF7 years ago
构建有效的低比特宽度卷积神经网络
本研究提出了三种简单有效的方法来优化低精度权重和低比特位激活函数的深度卷积神经网络：第一，采用两阶段优化策略以逐步找到好的局部最小值；第二，逐步降低比特数；第三，同时训练全精度模型和低精度模型以提供指引。该方法在不降低网络性能的情况下成功地
PDF7 years ago
ZipML 框架：端到端低精度模型训练：能与不能兼备，再加一点深度学习
该论文探讨了在低精度下使用机器学习模型进行训练的可行性，提出了一种名为 ZipML 的框架，通过双重采样策略实现线性模型的低精度训练，避免了由于量化导致的引入偏差问题，并在各种应用场景中进行了验证。同时，通过使用方差优化的随机量化策略，在包
PDF8 years ago