Jan, 2024

一种基于 Kaczmarz 的方法加速神经网络波函数优化

PDF
TL;DR通过使用变分蒙特卡罗方法优化的神经网络波函数，虽然高昂的优化成本限制了其在更大系统中的应用，但是我们提出了子采样投影增量自然梯度下降（SPRING）优化器来减少这个瓶颈。我们证明了 SPRING 优于 MinSR 和 KFAC 在一些小原子和分子上的效果，前提是所有方法的学习率都经过最优调整。例如，对于氧原子，在四万次训练迭代后，SPRING 达到了化学精度，而 MinSR 和 KFAC 即使在十万次迭代后仍然未能达到。
neural network wavefunctionsvariational monte carlo methodelectronic structuresubsampled projected-increment natural gradient descent (spring)optimal learning rates
发现论文，激发创造
  • 高效的子采样 Gauss-Newton 和自然梯度方法用于训练神经网络

    使用 Levenberg-Marquardt 的 Gauss-Newton 和自然梯度方法，解决深度神经网络大量变量和海量数据集所产生的非凸优化问题，证明方法能够有效实现并提出数值结果。

    Jun, 2019

  • 基于 SPSA 梯度的量子机器学习优化器实证比较

    本文介绍了一种结合了近似梯度和最先进的基于梯度的优化算法的新方法，该方法在简单回归任务中的收敛速度和绝对误差方面超越了标准 SPSA 和参数偏移规则，而且在考虑了 shot- 和硬件噪声之后，优于 SPSA 和随机梯度下降方法。

    Apr, 2023

  • 通过方差估计加速锐度感知最小化的有效梯度样本大小

    通过采用自适应采样方法基于 PSF 变化的原则，本文提出了一种简单且高效的采样方法，以显著加速模型优化过程中的计算速度，并在广泛的网络架构上实现了与 SAM 相当的最新准确度。

    Feb, 2024

  • 基于神经网络的变分增强采样

    使用机器学习技术和变分增强采样方法结合来快速采样自由能面，通过采用神经网络表示偏差来决定采样的参数，在重复学习方案中对其进行确定并打破一些壁垒

    Apr, 2019

  • Krylov 子空间下降用于深度学习

    本研究提出了一个针对高维模型和大量训练样本的二阶优化方法，使用 Krylov 子空间进行训练加速，并在深度神经网络中的效果优于 SGD、共轭梯度下降和 L-BFGS 等算法，且优于 Hessian Free 方法。

    Nov, 2011

  • 神经元上的梯度下降及其与近似二阶优化的联系

    本文挑战了广泛持有的信念，发现由于其近似，Kronecker-Factored 是不与二阶更新密切相关的，并且在计算代价和数据效率方面往往优于此类更新算法，同时提出证据表明 KFAC 逼近第一阶算法（对神经元进行梯度下降），而非权重，为令人惊讶的结果。

    Jan, 2022

  • Guided-SPSA: 运用参数偏移规则辅助的同时扰动随机近似优化

    我们引入了一种新的梯度估计方法，称为 Guided-SPSA，它有意地结合了参数漂移规则和基于 SPSA 的梯度近似，能够在训练过程中减少所需的电路评估数量 15% 到 25％，并取得与参数漂移规则相比类似或更好的优化结果。Guided-SPSA 在所有情况下都优于标准 SPSA，并在参数子优化初始化等情况下优于参数漂移规则。我们通过数值实验展示了 Guided-SPSA 在量子机器学习的不同范式（如回归，分类和强化学习）上的性能。

    Apr, 2024

  • 基于变分 Monte Carlo 的近端优化神经网络量子态的基态搜索方案

    本文介绍了一种基于神经网络量子态 (NQS) 和变分蒙特卡罗 (VMC) 方法的优化算法，该算法使用多次梯度下降，通过重用不匹配的样本来实现近端优化 (PO)。使用该算法进行计算，得到了具有竞争力的能量值，进一步证明了其在一维横场伊辛模型和二维海森堡反铁磁体中的地状态搜索的有效性。

    Oct, 2022

  • 基于深度展开的马尔可夫链蒙特卡洛梯度下降的收敛加速

    该研究提出了一种可训练的基于采样的求解器用于组合优化问题，使用一种称为深展开的深度学习技术。该求解器基于 Ohzeki 方法，结合了马尔可夫链蒙特卡洛（MCMC）和梯度下降，并通过最小化损失函数来训练其步长。在训练过程中，我们提出了一种基于采样的梯度估计，用方差估计代替自动微分，从而避免了由于 MCMC 的不可微分性导致的反向传播失败。对于几个组合优化问题的数值结果表明，与原始的 Ohzeki 方法相比，所提出的求解器显著加速了收敛速度。

    Feb, 2024

  • 面向可扩展贝叶斯采样的统一粒子优化框架

    本文针对大数据分析，提出了一种基于 Wasserstein 梯度流的粒子优化框架，用于统一随机梯度 MCMC 和 Stein 变分梯度下降算法，并能够更有效地解决概率测度空间上的挑战。实验结果表明，该框架能够提高贝叶斯抽样的效率和可伸缩性。

    May, 2018