Oct, 2023

使用量子焙烧二元梯度的预测随机梯度下降

PDF
TL;DR我们提出了一种新颖的适用于量子硬件上训练二进制神经网络（BNNs）的逐层随机优化器 QP-SBGD。通过在实践中解决二进制神经网络优化器的挑战，我们展示了该更新规则的收敛性，并介绍了在量子计算中如何有效执行映射和投影操作。此外，该方法逐层实现，适用于在资源有限的量子硬件上训练更大的网络。通过广泛评估，我们展示了 QP-SBGD 在优化 Rosenbrock 函数、训练 BNNs 以及二进制图神经网络方面的优越性。
qp-sbgdbinary neural networksoptimisationquantum hardwarelayer-wise
发现论文，激发创造
  • 量子影子梯度下降法用于量子学习

    该论文提出了一种名为量子阴影梯度下降 (QSGD) 的新程序，以解决一次性方法、量子阴影样本生成和非乘积态哈密顿量等相关问题，并通过理论证明、收敛分析和数值实验验证了其结果。

    Oct, 2023

  • 混合粗略梯度下降用于深度神经网络的全量化

    提出了混合粗微分下降算法 (BCGD)，该算法利用了人工升高方向的粗微分来进行系数的权重更新，从而在目标值上产生足够的下降，加速了量化训练效果，并在 ImageNet 分类任务中全量化 ResNet-18 网络汇报了 64.36％的 top-1 准确率。

    Aug, 2018

  • 应用于深度学习的非凸随机 Bregman 近端梯度方法

    研究一系列随机 Bregman 近端梯度法（SBPG）方法，用于训练具有非 Lipschitz 梯度的非凸目标函数，及应用于神经网络训练中具有多项式内核函数的深度神经网络的优化算法。证明了 SBPG 及其动量版本（MSBPG）在非凸优化问题中有很好的收敛性，提出了 MSBPG 解决大规模优化中随机梯度下降法的一些不足。

    Jun, 2023

  • QSGD: 通过梯度量化和编码实现通信高效的 SGD

    提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。

    Oct, 2016

  • 边缘计算下的局部梯度学习

    提出了一种名为 tpSGD 的优化算法，该算法可以在边缘设备上进行学习，并且收敛速度快，具有低内存占用，并且可以训练任意的损失函数和反向传播神经网络，避免了梯度保留的需求，实现了内存优化。实验结果表明，该方法相对于其他梯度自由算法具有更好的性能表现。

    Aug, 2022

  • 在 Ising 机上训练多层神经网络

    该研究提出了一种用于训练量化神经网络（QNN）的 Ising 学习算法，该算法通过二进制编码网络拓扑和损失函数的降阶，实现了在 Ising 机器上训练多层前馈神经网络。该算法的空间复杂度约为 O (H^2L + HLNlogH)，通过模拟 Ising 机器在 MNIST 数据集上验证了其有效性。

    Nov, 2023

  • 基于混合量子经典调度的牛顿梯度下降加速神经网络训练

    利用量子线性求解器算法的 Q-Newton 提供了一种加速神经网络训练的混合量子 - 经典调度器，具有指数级加速的潜力，并且在减少训练时间方面表现出显著优势。

    Apr, 2024

  • vqSGD: 向量量化随机梯度下降

    本文提出了一种名为 vqSGD 的向量量化方法，具有渐近通信成本降低和在分布式优化中具有收敛性保证的特点，并支持隐私保护。该方法基于点集的凸壳，并提供了多个高效实例，通过应用二进制纠错码的特性，平滑地平衡量化通信和估计误差之间的权衡。通过使用这种向量量化方案，作者成功证明了任何维数在单位球中的 g 的无偏估计需要 O (d/R^2) 位表示，同时估计误差足够小，仅需要在通信方面花费小于 o (d) 的比特数。

    Nov, 2019

  • 训练深度神经网络的实用拟牛顿方法

    本文提出了一种使用 Kronecker 乘积近似 Hessian 矩阵和结构化梯度的 Kronecker 分块对角线 BFGS 和 L-BFGS 方法用于深度神经网络训练，通过测试验证其性能优于或与 KFAC 和一阶随机方法相当。

    Jun, 2020

  • 深度网络的能量景观

    本文提出了一种名为 AnnealSGD 的正则化随机梯度下降算法，可以通过对一个特定类别的深度网络的能量景观进行分析来获得启示，从而优化损失函数。

    Nov, 2015