local minimum | BriefGPT - AI 论文速递

关键词local minimum

搜索结果 - 7

理解非线性自监督学习的表示可学习性
我们的研究是第一个准确分析非线性自监督学习模型学习结果的论文，通过模拟实验我们证明了非线性自监督学习模型可以同时捕捉标签相关特征和隐藏特征。
PDF6 months ago
随机梯度下降中的重尾现象
本文阐述了随机梯度下降（SGD）在深度学习中的泛化性能与最小值的浅奥关系，并通过线性回归等简单问题分析证明了参数选择会对算法的收敛率及概率分布产生影响。
PDF4 years ago
神经网络宽度对性能的好处：不良盆地的消失
本文证明了从窄网络到宽网络的过渡存在一个相变，窄网络存在次优盆地（sub-optimal basins），而宽网络不存在。具体地，采用连续激活函数的一类宽网络损失曲面没有亚优盆地，但是对于宽度低于阈值的大类网络，存在不是全局最小值而是严格局
PDF6 years ago
如何随机地使梯度变小：更快的凸优化和非凸优化随机梯度下降
该研究分别设计了针对凸函数和非凸函数的优化算法 SGD3 和 SGD5，分别能够在近最优的速率下找到梯度范数为特定值的最小值点和近似局部极小值点，并且这些速率具有优越性和不劣性。
PDF6 years ago
MM随机梯度 Langevin 动力学的碰撞时间分析
本文研究了随机梯度 Langevin 动力学（SGLD）算法，针对非凸优化问题，注入适当缩放的高斯噪声来更新参数，我们分析了算法达到参数空间任意子集的的命中时间，从理论上得出结论：对于经验风险最小化，如果经验风险在点值上接近于（平滑的）总体
PDF7 years ago
归一化之力：更快速地逃离鞍点
通过选择合适的参数和注入噪音，我们分析了 Normalized Gradient Descent（NGD）这个非凸优化启发式方法，表明此方法能够逃避鞍点，并且证明了 NGD 收敛到局部最小值，而且 NGD 的收敛速度比 Ge 等人 2015
PDF8 years ago
比梯度下降法更快地找到局部极小值
本文介绍了一种非凸二阶优化算法，其时间复杂度与样本维度和训练样本数量呈线性关系，在训练神经网络和其他非凸目标的机器学习问题上具有广泛应用，并可以保证返回近似局部最小值。
PDF8 years ago