Jan, 2024

用于加性非参数回归的随机梯度下降

PDF
TL;DR该论文介绍了一种迭代算法，用于训练具有有利的内存存储和计算要求的加法模型。该算法可以被视为随机梯度下降的函数对应物，应用于组成函数的截断基函数的系数。我们证明了所得到的估计器满足一个预言不等式，可以容许模型错误规定。在规范设置下，通过在培训的三个不同阶段仔细选择学习率，我们证明它的风险在数据的维度和训练样本的大小上是极小值最优的。
发现论文，激发创造
  • 非强凸最小二乘问题的加速随机梯度下降

    本文提出了一种基于加速梯度下降的新随机逼近算法，该算法在非强凸情况下取得了最佳预测误差率，并在加速遗忘初始条件方面达到了最优效果，同时在算法的平均迭代次数和最终迭代次数上均提供了收敛结果，该算法还在无噪声环境下提供了一个匹配下界，展示了我们算法的最优性。

    Mar, 2022

  • 普通最小二乘回归的更快、更好、更坚强的收敛速率

    提出一种基于平均加速正则梯度下降的算法，通过细化初值和 Hessian 矩阵的假设，最优地优化回归问题，并证明其在偏差与方差之间具有最优性、大数据时初始化影响可达到 O（1/n2）以及对于维度 d 的依赖程度为 O（d/n）。

    Feb, 2016

  • 加速随机梯度下降算法用于最小二乘回归

    本文研究加速随机梯度方法在最小二乘回归问题中的应用，通过对加速随机梯度下降作为随机过程的深入分析，证明了引入加速能够使其对统计误差具有鲁棒性，并提出了一种优于随机梯度下降的加速随机梯度方法。

    Apr, 2017

  • 非参数方法下随机梯度下降在无噪声线性模型中的紧致收敛速率

    本文探究噪声线性模型下单次训练中的随机梯度下降算法，证明了其收敛性和泛化误差的多项式收敛率，解释了结果在再生核希尔伯特空间框架下的意义，同时将分析应用于超出监督学习的场景。

    Jun, 2020

  • 非光滑非凸正则化优化的简单随机梯度方法

    本研究旨在探讨优化非光滑非凸正则化器下的平滑非凸损失函数的随机梯度方法。我们提出了两种简单的随机梯度算法，对于有限总和和一般随机优化问题，相较于现有技术水平，其具有更优的收敛复杂度。同时，我们在经验风险最小化中比较了两种算法的实际表现。

    Jan, 2019

  • 偏见自适应随机逼近的非渐近分析

    本研究通过非渐进性分析，探讨具有偏倚梯度和自适应步长的随机梯度下降算法，包括时间依赖的偏倚和梯度估计器的均方误差控制，结果表明带偏倚梯度的 Adagrad 和 RMSProp 算法收敛速率与无偏情况下的结果相似，实验结果进一步验证了收敛性，并展示了通过适当的超参数调整可以减少偏倚影响的能力。

    Feb, 2024

  • 一种普适最优的多阶段加速随机梯度方法

    研究如何在存在梯度估计噪声的情况下，通过使用多阶段加速算法，探讨最小化强凸光滑函数的问题，并通过采用特定的重启和参数选择，实现在确定性和随机情况下的最佳速率，以及在不知道噪声特性的情况下操作。

    Jan, 2019

  • 非强凸平稳随机逼近，收敛速率 O (1/n)

    本篇论文研究了关于随机逼近问题的现有算法，提出了两种新型随机梯度算法，并在回归和逻辑分类两种经典的监督学习问题上进行了测试，得到了较好的优化效果。

    Jun, 2013

  • 机器学习类型的带噪随机梯度下降。第二部分：连续时间分析

    通过随机梯度下降和先进的基于随机梯度下降的算法找到人工神经网络的适当参数，优化算法在目标函数的某种噪声区域内倾向于选择 “平坦” 最小值，这一趋势与连续时间 SGD 与均匀噪声的选择是不同的。

    Jun, 2021

  • 随机、稀疏、非光滑梯度的自适应学习率和并行化

    本文针对随机梯度下降法（SGD）调参的问题，提出了一个不需调参的自动降低学习速率的方法，并通过在迭代中解决并行化、更新方法、非光滑损失函数以及 Hessian 矩阵估计等问题，提高了算法性能。最终算法具有线性复杂度和无需超参数。

    Jan, 2013