stochastic gradient descent | BriefGPT

关键词stochastic gradient descent

搜索结果 - 631

对角化 SGD：通过参数重设和平滑实现快速与收敛的非可微模型 SGD
介绍了一种针对非可微模型的新型随机梯度下降（SGD）方法，利用渐进平滑逼近方法提高了渐进平滑逼近的精度，并证明了收敛到原始目标的固定点，在实验中表现出了简单、快速、稳定的特点，并实现了工作归一化方差的数量级降低。
PDF5 months ago
高斯输入下学习子空间稀疏多项式的平均场分析
我们研究了使用随机梯度下降和两层神经网络学习子空间稀疏多项式的均场流动，其中输入分布为标准高斯分布，输出仅依赖于将输入投影到低维子空间上。我们提出了 Abbe 等人（2022）中合并阶梯特性的无基础推广，并建立了 SGD 可学习性的必要条件
PDF5 months ago
含噪声 SGD 中的隐式偏差：与差分隐私训练的应用
使用小批量随机梯度下降（SGD）训练深度神经网络（DNNs）相对于大批量训练具有卓越的测试性能。这种随机梯度下降的特定噪声结构被认为是导致这种隐式偏差的原因。使用差分隐私（DP）确保 DNN 的训练时，DP-SGD 会向截断梯度添加高斯噪声
PDF5 months ago
免调节的随机优化
大规模机器学习问题中，通过松散提示参数信息，提出了能够自动调整的 “无需调参” 的算法，能够与最优调参优化算法在多对数因子上实现性能匹配，特别是对于有界优化领域，证明了这种匹配是可能的，并且多个现有算法已经实现了该特性。然而，在无界领域中，
PDF5 months ago
梯度噪声的隐含偏差：对称性视角
当存在连续对称性时，我们表征了随机梯度下降法（SGD）的学习动力学，它与梯度下降法之间的差异是显著的。我们将对称性对学习动力学的影响分为两类：其中一类对称性，SGD 自然地收敛于具有平衡和对齐梯度噪声的解；另一类对称性下，SGD 几乎总是发
PDF5 months ago
随机梯度下降（SGD）的收敛速度及其在修改后的多臂赌博机策略梯度中的应用
我们提供了随机梯度下降法（SGD）在学习率遵循逆时间衰减策略时收敛速度的自包含证明，并将该结果应用到带有 L2 正则化的改进型策略梯度多臂赌博问题的收敛中。
PDF5 months ago
均匀随机权重生成非均匀偏差：典型插值神经网络泛化时具有狭窄的教师
通过证明，我们发现基于狭窄的 “教师神经网络” 存在时，随机的神经网络插值器通常具有很好的泛化能力。具体而言，我们显示出这种对神经网络参数化的 “平坦” 先验在神经网络函数上引发丰富的先验，这是由于神经网络结构中的冗余性引起的。特别是，这会
PDF5 months ago
Adam 和随机梯度下降优化的全局最小值非收敛问题及人工神经网络训练中的局部最小值构建
在对使用 ReLU 和相关激活函数的浅层人工神经网络进行研究中，我们发现随机梯度下降（SGD）方法（如纯独立 SGD、动量 SGD、AdaGrad、RMSprop 和 Adam 优化器）高概率无法收敛到全局最小值，并证实了 ANN 训练问题
PDF5 months ago
AdaBatchGrad: 组合自适应批量大小和自适应步长
这篇论文介绍了一种新颖的随机梯度下降法 (SGD) 的改进方法，称为 AdaBatchGrad。该方法通过集成自适应步长和可调整批大小，提高了 SGD 的收敛性和稳定性。通过实验证明，引入自适应步长和批大小大大提高了正常 SGD 的性能，使
PDF5 months ago
曲率信息的 SGD：通过通用李群预条件器
提出了一种新的方法，通过利用从海森矩阵向量积或参数和梯度的有限差分得到的曲率信息，类似于 BFGS 算法，加速随机梯度下降（SGD）。该方法涉及两个预条件器：一个矩阵无关的预条件器和一个低秩近似预条件器。我们使用一种对随机梯度噪声稳健且不需
PDF5 months ago
在一般希尔伯特空间中用随机梯度下降学习算子
本研究通过随机梯度下降（SGD）来学习一般希尔伯特空间之间的运算符，依据目标运算符的弱和强正则条件，建立了 SGD 算法的收敛速度的上界，进行了极小 - 极大下界分析，进一步说明了我们的收敛分析和正则性条件定量地刻画了使用 SGD 算法解决
PDF5 months ago
线性模态连接性的基于置换的权重匹配分析
最近，Ainsworth 等人表明，在模型参数的置换搜索中使用权重匹配（WM）来最小化 $L_2$ 距离有效地识别符合线性模态连通性（LMC）的排列，其中在不同种子训练的两个独立模型之间的线性路径上的损失保持几乎不变。本文提供了关于使用 W
PDF5 months ago
偏见自适应随机逼近的非渐近分析
本研究通过非渐进性分析，探讨具有偏倚梯度和自适应步长的随机梯度下降算法，包括时间依赖的偏倚和梯度估计器的均方误差控制，结果表明带偏倚梯度的 Adagrad 和 RMSProp 算法收敛速率与无偏情况下的结果相似，实验结果进一步验证了收敛性，
PDF5 months ago
隐式逐步优化中动量在平滑目标函数中的作用
随机梯度下降 (SGD) 与动量在收敛性和泛化能力方面具有快速收敛和优秀的表现，但缺乏理论解释。本文证明了 SGD 与动量使目标函数平滑化，平滑程度由学习率、批量大小、动量因子、随机梯度的方差和梯度范数的上界决定。这一理论发现揭示了动量为何
PDF5 months ago
通过置换子空间进行训练时神经元对齐以提高线性模式连接性和模型融合
通过在训练时进行神经元对齐，以及使用剪枝和部分梯度掩码算法，研究了深度学习中解决线性模式连接层面上的障碍的方法，这在模型融合算法中具有重要的应用。
PDF5 months ago
均值随机梯度下降中的重尾出现
通过对连续扩散逼近的随机梯度下降进行分析，我们发现它在渐近意义下表现出重尾分布，并给出了尾指数的上下界。我们通过数值实验验证了这些界限，并显示它们通常是 SGD 迭代的经验尾指数的近似。此外，这些界限的显式形式使我们能够量化优化参数与尾指数
PDF5 months ago
探索在 Wasserstein 概率空间中的 Riemannian SGD 和 SVRG 流动
通过将优化方法扩展到 Wasserstein 空间中的 Riemannian manifold，我们提出了用于连续优化的随机梯度下降和随机方差减少梯度流，证明了这些梯度流的收敛速度，与 Euclidean 空间中的结果相匹配。
PDF5 months ago
ICLR使用损失面几何精确刻画 SGD 的稳定性
我们深入探讨了随机梯度下降（SGD）的线性稳定性与锐利度之间的关系，并介绍了一种损失海森矩阵的一致性度量，用于判断 SGD 在最优点处的线性不稳定性。
PDF5 months ago
一种包含自适应数据容错恢复调整的随机梯度下降算法用于隐因子分析
本文提出了一种 ADRC 结合 SGD 算法来快速且准确地分析高维不完整矩阵的潜在因子，并在两个高维不完整数据集上的实证研究中表明，该模型在计算效率和准确性方面优于现有的 LFA 模型。
PDF6 months ago
凸 SGD: 泛化无需提前停止
我们研究了在紧致集合上的光滑凸函数中使用随机梯度下降的泛化误差，并展示了当迭代次数 T 和数据集大小 n 以任意速率趋近于零时，我们第一次得到了一个消失的泛化误差界，该界与步长 αt=1/√t 成比例，泛化能力不需要强凸性。
PDF6 months ago