hessian approximation | BriefGPT

关键词hessian approximation

搜索结果 - 10

洗发水前置护理新视角
Shampoo 是一种二阶优化算法，使用 Kronecker 积预处理器，它近来引起了机器学习界的广泛关注。我们提供了 Shampoo 的最佳 Kronecker 积近似与 Shampoo 使用的近似之间的明确而新颖的联系。我们通过各种数据
PDF7 days ago
ICML噪声无导数优化的动态各向异性平滑
提出了一种创新算法，通过考虑目标函数的异质曲率，将球面平滑和高斯平滑方法扩展到噪声无导数优化中，动态调整平滑核的形状以逼近局部最优点周围的海森矩阵，从而通过采样大大减小了噪声评估中梯度估计的误差。通过对人工问题的数值实验展示了该方法的有效性
PDF2 months ago
关于在一致性正规化中应用隐式元学习的训练
通过对不同的 Hessian 逼近方法进行系统性比较分析，研究了隐式元训练在收敛点曲率估计方面的局限性以及其稳定性问题，并利用所得见解提出并评估了一种新型半监督学习算法，该算法通过培训 “信心网络” 来加权一致性正则化损失，提高了基准 Fi
PDF8 months ago
镜像自然进化策略
零阶优化利用零阶查询近似一阶和二阶信息的理论研究较少，本文提出了一种重新参数化的目标函数，通过小干扰在极小值点和原始目标函数的 Hessian 逆之间达到极值，并提出了 MiNES 算法来最小化该目标函数，证明了该算法的协方差矩阵估计收敛至
PDFa year ago
Apollo: 一种自适应参数逐个对角线拟牛顿法在非凸随机优化中的应用
介绍了一种名为 Apollo 的准牛顿法，通过对损失函数的海塞矩阵进行对角矩阵逼近，使算法的时间复杂度和内存占用保持在线性复杂度上，同时实现了对非凸优化的处理。实验结果表明，Apollo 相对于 SGD 和 Adam 等随机优化方法在收敛速
PDF4 years ago
基于 Hessian 感知的零阶优化黑盒对抗攻击
本文提出了一个基于 Hessian 矩阵的零阶优化算法 ZO-HessAware，用于黑盒对抗攻击，该算法的实验证明在结构化 Hessian 逼近的情况下，具有更好的零阶收敛率和查询复杂度。
PDF6 years ago
非凸优化中不精确 Hessian 信息的牛顿类型方法
本文研究了基于 Hessian 矩阵近似的非凸优化中信任域和立方正则化方法的变体。通过对不精确 Hessian 矩阵的渐进解和相应子问题的近似解，提供了迭代复杂度，以实现达到二阶最优条件的近似解，并且在现有文献中条件松弛。
PDF7 years ago
精确和非精确子采样牛顿法优化
本文研究了通过子采样获得渐进和海森矩阵的近似解来解决随机优化问题，提出了利用这些近似的 Newton-like 方法，并讨论了如何协调渐进和海森矩阵的准确度，得到期望中的超线性收敛速度。该文第二部分分析了一种利用共轭梯度方法近似求解线性系统
PDF8 years ago
统一随机梯度下降和拟牛顿法的快速大规模优化
该研究提出了一种算法，它结合了随机梯度下降的计算效率和拟牛顿法利用的二阶曲率信息，通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同的方法的统一。该算法适用于高维度优化问题，通过将这些二次近似值存储和操作在一个共享的、时变的、
PDF11 years ago
ICML通过反向传播曲率估计黑塞矩阵
本文提出了一种称为 “曲率传播” 技术的方法，用于高效计算由计算图计算的任何函数的海森矩阵的无偏估计，并在神经网络和 Score Matching 任务上进行了实验证明了该方法的有效性。
PDF12 years ago