Aug, 2018

混合粗略梯度下降用于深度神经网络的全量化

PDF
TL;DR提出了混合粗微分下降算法 (BCGD)，该算法利用了人工升高方向的粗微分来进行系数的权重更新，从而在目标值上产生足够的下降，加速了量化训练效果，并在 ImageNet 分类任务中全量化 ResNet-18 网络汇报了 64.36％的 top-1 准确率。
quantized deep neural networkscoarse gradientblended coarse gradient descentbinarizationresnet-18
发现论文，激发创造
  • 基于梯度的神经网络芯片上每权重混合精度量化

    通过高精度量化训练方法，减少模型大小和推理速度，提高 FPGA 部署的低延迟和低功耗神经网络的资源利用率，同时保持准确性。

    May, 2024

  • 使用量子焙烧二元梯度的预测随机梯度下降

    我们提出了一种新颖的适用于量子硬件上训练二进制神经网络（BNNs）的逐层随机优化器 QP-SBGD。通过在实践中解决二进制神经网络优化器的挑战，我们展示了该更新规则的收敛性，并介绍了在量子计算中如何有效执行映射和投影操作。此外，该方法逐层实现，适用于在资源有限的量子硬件上训练更大的网络。通过广泛评估，我们展示了 QP-SBGD 在优化 Rosenbrock 函数、训练 BNNs 以及二进制图神经网络方面的优越性。

    Oct, 2023

  • 一种深度神经网络低比特宽度训练的统计框架

    本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

    Oct, 2020

  • 量化自适应次梯度算法及其应用

    为了在分布式模型训练中平衡通信成本、模型容量和模型性能，本文提出了分布式训练的量化复合镜像下降自适应子梯度（QCMD adagrad）和量化正则化双均值自适应子梯度（QRDA adagrad）算法，利用梯度量化和稀疏模型降低每次迭代中的通信成本，并构建一个基于梯度的量化自适应学习率矩阵来实现通信成本、准确性和模型稀疏性之间的平衡，同时采用了阈值量化策略来提高信噪比和保持模型的稀疏性。

    Aug, 2022

  • 深度神经网络压缩的可微细粒度量化

    本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法，通过在不同结构、层次上采用不同的精度，达到更好的压缩比和准确率的平衡。实验结果表明，与传统量化方法相比，该方法在相同压缩率下表现更优。

    Oct, 2018

  • 梯度下降量化 ReLU 网络特征

    研究深度神经网络在过度参数化的情况下训练的现象，发现在网络具有小初值和学习率的假设下，权重向量趋向于集中在少量由数据决定的方向，这使得对于给定的输入数据，网络大小独立，只能得到有限数量的函数

    Mar, 2018

  • 半波高斯量化下的低精度深度学习

    研究深度神经网络的激活量化问题，提出了一种半波高斯量化器（HWGQ）来近似 ReLU 非线性激活函数，并探讨了多种反向逼近方式以解决梯度失配问题，实现的量化网络 HWGQ-Net 的性能比以前的低精度网络如二进制权重和二位量化激活的网络接近全精度网络（如 AlexNet，ResNet，GoogLeNet 和 VGG-Net）。

    Feb, 2017

  • 用于训练 Tikhonov 正则化深度神经网络的收敛块坐标下降算法

    本文提出了一种用于训练深度神经网络的光滑的多凸形式，该方法利用了凸分析中的近端点方法，开发了一个块协调下降（BCD）训练算法，证明了其具有全局收敛性和 R - 线性收敛速率，并在实验中展示了优于 Caffe 工具箱中所有随机梯度下降（SGD）变体的表现。

    Nov, 2017

  • QSGD: 通过梯度量化和编码实现通信高效的 SGD

    提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。

    Oct, 2016

  • 一步前進與回退：克服損失感知量化訓練中的曲折問題

    本文提出了一种新的损失感知量化方法，通过一步前进和回溯的方式来获取更准确、更稳定的梯度方向，解决了梯度下降学习过程中梯度方向快速震荡的问题，实验证明该方法在收敛性能上具有竞争力且优于其他方法。

    Jan, 2024