BriefGPT.xyz
Ask
alpha
关键词
newton method
搜索结果 - 6
梯度正则化牛顿法最小化准自协调函数
研究了带有准自共轭平滑成分的复合凸优化问题，通过使用基本的牛顿法结合梯度正则化，提出了一种简单而高效的算法，并应用于多个实际问题，包括逻辑回归、软最大和矩阵缩放，无需对目标函数进行额外的假设，并且获得了快速全局线性收敛率。
PDF
10 months ago
AAAI
SPAN：一种随机投影近似牛顿法
本文提出了一种快速的二阶优化算法 SPAN, 通过低秩逼近和随机海森向量相乘的方式来计算黑塞矩阵的逆，实验结果证明 SPAN 在多个基准数据集上优于现有的一阶和二阶优化算法，同时提供了每次迭代的复杂度、逼近误差和收敛速度的理论分析，表明 S
→
PDF
4 years ago
牛顿法三次正则化在最小化一致凸函数中的应用
本文研究了立方正则化牛顿法在解决具有一致凸性目标的复合最小化问题时的迭代复杂度。在引入某种程度的二阶条件数的概念后，我们证明了在非退化情况下具有自适应正则化参数估计的方法具有线性收敛率。我们的算法自动实现了具有 H"older 连续的目标平
→
PDF
5 years ago
稀疏条件高斯图模型的大规模优化算法
本文提出了一种基于牛顿法的优化程序，通过迭代两个子问题来实现高效计算，使用块协调下降来限制内存使用并实现快速收敛，解决了大规模问题下的内存限制和精度问题。
PDF
9 years ago
非凸集交问题：从投影方法到超正则集的牛顿法
描述如何使用交替投影法和其变体解决不相交闭集中的点问题，以及如何将二次规划用于非凸结构化集合，证明了算法的收敛性和收敛速度.
PDF
9 years ago
高维非凸优化中鞍点问题的识别与攻克
本文根据统计物理学、随机矩阵理论、神经网络理论和实证证据，证明高维问题中鞍点而非局部极小值点是造成误差函数最小值难以求解的主要原因，因此，提出了一种新的二阶优化方法 —— 无鞍牛顿法，用以快速逃脱高维鞍点并优化深度或递归神经网络。
PDF
10 years ago
Prev
Next