step size | BriefGPT - AI 论文速递

关键词step size

搜索结果 - 10

为什么要进行平面搜索而不是线搜索？SO 友好的神经网络允许对每一层进行每次迭代的学习速率和动量率优化
介绍了 SO 友好型神经网络的类别，其中包括实际中使用的几种模型，包括具有 2 层隐藏权重的网络，输入数量大于输出数量。SO 友好型网络具有在每次迭代中执行精确的线性搜索来设置步长的性质，在完全批处理训练期间具有与使用固定学习相同的渐进成本
PDF9 days ago
线性回归中连续学习中遗忘的理解
通过随机梯度下降（SGD）在线性回归模型中提供了一般性的理论分析，揭示了任务序列与算法参数之间错综复杂的关系，探讨了连续学习中的灾难性遗忘和算法参数选取对任务学习顺序的影响，通过模拟实验验证了理论分析的结果。
PDFa month ago
神经常微分方程的稳定感知初始化
本文研究了神经常微分方程（Neural Ordinary Differential Equations）的训练，并探讨了数值积分技术、稳定区域、步长和初始化技术之间的相互作用。文章展示了积分技术的选择如何隐式地对学习模型进行正则化，并且求解
PDF7 months ago
ADAM 在非凸背景下的常数步长收敛性：一个简单的证明
我们在非凸设置中对 ADAM 的常数步长版本进行理论分析，证明了步长达到几乎肯定的渐近收敛性所需的充分条件，并提供了在处理平滑的非凸函数时确定性 ADAM 达到近似临界性的运行时界限。
PDF10 months ago
ICML理解梯度下降的不稳定收敛
本研究从基本原理出发，探讨了机器学习中梯度下降法中步长远大于 $2/L$ 时导致不稳定收敛的现象特征和成因，结合理论和实验给出了系统的认识。
PDF2 years ago
神经网络的抛物线逼近线搜索
本文提出一种通过在 batch loss 负梯度方向上进行一维抛物线逼近的简单且强大的线性搜索方法来自动找到深度学习优化的最优步长，并在多个数据集和架构上进行了全面的评估。
PDF5 years ago
使用自适应步长重新训练的深度神经网络的固定点优化
本文提出了一种对定点优化算法的改进，它可以动态估计量化步长，同时实现了逐步量化方案，经实验发现：该算法适用于前馈神经网络、卷积神经网络和循环神经网络。
PDF7 years ago
Barzilai-Borwein 随机梯度下降步长
该研究使用 Barzilai-Borwein 方法自动计算 Stochastic Gradient Descent（SGD）和 Stochastic Variance Reduced Gradient（SVRG）算法的步长，证明了 SVRG
PDF8 years ago
SG Langevin 动力学的（非）渐近性质
我们研究了使用固定步长的随机梯度 Langevin 动力学（SGLD）方法的特点及其偏差，并提出了一个修正的 SGLD 方法，在步长的一阶上消除了由于随机梯度方差引起的渐近偏差，并且得到了有限时间偏差、方差和均方误差（MSE）的界限。
PDF10 years ago
为哈密顿蒙特卡罗优化积分器步长
该论文提出了一个基于 Hamiltonian Monte Carlo 的优化准则，旨在调整算法的关键性步长值，并通过诊断监测来确保其有效性，从而使接受概率调整到 0.6≤a≤0.9 之间。
PDF10 years ago