BriefGPT.xyz
Ask
alpha
关键词
steepest descent
搜索结果 - 5
通过参数缩放解释自适应梯度方法对无学习率优化的解读
我们提出解决在训练深度神经网络中用于自适应梯度方法的学习率估计的挑战。我们将自适应梯度方法解释为应用于参数缩放网络的最陡下降方法，并提出了无学习率的自适应梯度方法。实验结果验证了该方法的有效性，并证明在各种情况下，其性能与手动调优的学习率相
→
PDF
6 months ago
通用优化方法的更快边缘最大化率
本文介绍了一种将常规优化算法转化为在线学习动态的方法，以解决具有多个局部极小值的给定训练目标的最小化，通过在线学习算法的遗憾界来获得隐式偏差率，并比较了梯度下降、镜像下降和最陡下降这三种不同的优化算法的隐式偏差率。
PDF
a year ago
分裂最陡下降用于增长神经结构
本研究提出了一种逐步训练神经网络的方法，该方法通过将现有神经元分裂成多个比较小的单元，从而自适应地增长网络结构。该方法的优点在于其使用了一种名为函数最速下降法的思路来决定神经元裂变的最佳子集并进行最优更新。这种方法提供了一种新的高效优化神经
→
PDF
5 years ago
层次 Tucker 流形的优化 - 张量补全应用
本文采用分层 Tucker 张量和优化算法，快速插值了实际场景中的大规模地震数据集。
PDF
10 years ago
下降曲线
研究了变分数学中的最陡下降问题，提出了半代数函数的次导数系统的解恰好是最陡下降问题的解，并给出了一种新的关于曲线近似最大的斜率存在性的证明。
PDF
12 years ago
Prev
Next