conjugate gradient | BriefGPT

关键词conjugate gradient

搜索结果 - 9

KDD训练深度神经网络的自适应学习率和动量
本文提出了一种基于非线性共轭梯度框架的快速训练方法，采用二次线搜索和动态更新动量因子的方式，该方法能够更快地收敛且避免了繁琐的超参数手动调整。实验结果表明该方法在图像分类数据集上的广义能力比其他本地求解器更好。
PDF3 years ago
基于随机截断的无偏可扩展高斯过程
本文分析了两种常见的高斯过程方法：早期截断共轭梯度（CG）和随机傅里叶特征（RFF），发现两种方法都会对学习到的超参数引入系统偏差：CG 倾向于欠拟合，而 RFF 倾向于过拟合。我们使用随机截断估计器解决了这些问题，以换取增加方差的无偏差性
PDF3 years ago
基于共轭梯度的 Adam 算法用于随机优化及其在深度学习中的应用
本文提出了一个混合 Adam 和非线性共轭梯度方法的共轭梯度 Adam 算法，并展示其收敛分析。在文本分类和图像分类上的数值实验表明，该算法可以在比现有的自适应随机优化算法更少的时代数内训练深度神经网络模型。
PDF4 years ago
复苏和改进递归反向传播
本文重新审视了递归反向传播算法（RBP）及其适用条件，提出了基于共轭梯度和 Neumann 级数的两个改进算法，并在三个不同的应用领域进行了实验。实验证明，尤其是 Neumann-RBP 变体，对于优化收敛的循环神经网络效率高且有效。
PDF6 years ago
AAAIEA-CG：一种用于训练全连接神经网络的近似二阶方法
该研究提出了一个实用的近似二阶方法来训练全连接神经网络，其中包括一个 Hessian matrix 的近似和一个共轭梯度（CG）算法，并且通过与一级近似结合的共轭梯度算法，大大减少了空间和时间复杂度。经验研究表明，该方法具有高效性和效果。
PDF6 years ago
精确和非精确子采样牛顿法优化
本文研究了通过子采样获得渐进和海森矩阵的近似解来解决随机优化问题，提出了利用这些近似的 Newton-like 方法，并讨论了如何协调渐进和海森矩阵的准确度，得到期望中的超线性收敛速度。该文第二部分分析了一种利用共轭梯度方法近似求解线性系统
PDF8 years ago
核矩阵预处理
提出了一种用于核机器的预处理共轭梯度方法，利用预处理器优化了核矩阵的条件数，提高了算法收敛性能和可扩展性。在迭代次数的极限下，该方法精确度高于现有的近似算法，同时在相同的计算成本下，该方法较之前方法表现更好。
PDF8 years ago
迭代重新加权最小二乘方法的共轭梯度加速
该研究通过探讨压缩感知和稀疏恢复问题等特定领域中的迭代算法，证明了使用共轭梯度法来解决二次优化问题可以在保证收敛的同时显著提高其复杂度，并发现 IRLS 方法在大维度情况下可以优于 IHT 和 FISTA 等一阶方法，并且在所需测量 few
PDF9 years ago
层次 Tucker 流形的优化 - 张量补全应用
本文采用分层 Tucker 张量和优化算法，快速插值了实际场景中的大规模地震数据集。
PDF10 years ago