Feb, 2024

免调节的随机优化

PDF
TL;DR大规模机器学习问题中，通过松散提示参数信息，提出了能够自动调整的 “无需调参” 的算法，能够与最优调参优化算法在多对数因子上实现性能匹配，特别是对于有界优化领域，证明了这种匹配是可能的，并且多个现有算法已经实现了该特性。然而，在无界领域中，证明了无需调参优化是不可能的，但在噪声分布足够良好的情况下，通过一些算法如 DoG 和 DoWG，可以满足无需调参的条件。对于查找光滑且可能非凸函数的稳定点，提出了一种改进的随机梯度下降（SGD）变体，以仅有多对数成本匹配调参 SGD 的最佳已知高概率收敛率，然而，也证明了任何算法都不可能满足与调参 SGD 高概率收敛率相匹配的最优期望收敛率。
发现论文，激发创造
  • 无参数随机优化有多自由？

    该文章研究了无参数随机优化问题，探讨在什么条件下能够存在完全无参数的方法，并且通过简单的超参数搜索技术，证明了在凸和非凸环境下，可以实现优于当前先进算法的完全无参数方法。同时，对于仅有随机梯度的情况，该研究还提供了基于下限的 (部分) 无参数方法。

    Feb, 2024

  • 非凸优化中的自适应策略

    本论文主要介绍了一些关于自适应算法的研究工作，包括在随机优化、深度神经网络和非凸优化等方面的应用，提出了新算法并进行了理论和实验分析。其中，SignSGD 算法具有很好的理论性质和性能，并能够自适应地适应平滑性条件。

    Jun, 2023

  • 一枚硬币的两面：未调节的 SGD 的局限性和自适应方法的威力

    本文探讨了随机梯度下降法与多项式衰减步长之间的关系，并证明无调谐的随机梯度下降法具有渐进最优的收敛速率，但需要面临指数级的平滑度常数；而规范化 SGD、AMSGrad 和 AdaGrad 方法可以在不知道平滑度参数和随机梯度边界条件的情况下消除梯度爆炸问题。

    May, 2023

  • 加速无需参数的随机优化

    提出一种方法，在光滑随机凸优化中实现接近最优的速率，几乎不需要先验问题参数知识，通过结合 UniXGrad 和 DoG，使用新的迭代稳定技术，在仅具有对 d0 和噪声大小的粗略上界的情况下，提供了对于子高斯噪声的高概率保证，并且在非光滑的情况下也接近最优。在凸问题上表现出一致且强大的性能，在神经网络训练上的结果有所不同。

    Mar, 2024

  • 在轻松平滑条件下的参数无关优化

    通过理论和实验证明，Normalized Stochastic Gradient Descent with Momentum 算法在没有先验知识的情况下可以实现（接近）最优复杂度，但复杂度中引入了一个依赖于 (L_1) 的指数项，这是不可避免的。同时，在确定性设置下，可以通过使用 Gradient Descent with a Backtracking Line Search 来抵消指数因子。这是首个在广义平滑条件下提出的无需参数设置的收敛结果。

    Nov, 2023

  • 通过赌博训练深度网络而无需学习率

    本文提出一种基于投掷硬币的随机梯度下降（SGD）优化算法，相较于传统方法，该方法不需要任何学习率设置，不适应任何学习率，且在凸函数和拟凸函数中证明了其理论收敛性，并且在实验中优于其他主流 SGD 算法。

    May, 2017

  • 高维推断中的非凸损失在线随机梯度下降

    研究了 SGD 算法在高维参数空间下最简单在线版本的性能，通过对样本数量的阈值来确定参数估计的一致性，其阈值是多项式维度的，取决于信息指数。

    Mar, 2020

  • 自适应 SGD 分布式随机优化

    本文提出了一种高效的分布式随机优化方法，通过结合适应性与方差约减技术，从而实现任何串行在线学习算法的并行计算，能够在不需要光滑参数的先验知识的情况下实现最优收敛速率，同时通过 Spark 分布式框架的实现能够对大规模逻辑回归问题进行高效处理。

    Feb, 2018

  • 当梯度下降与无导数优化相遇：黑盒场景中的完美匹配

    本文介绍了一种融合梯度下降和无导数优化的全新方法 GDFO，并使用知识蒸馏的方式成功地将梯度下降引入黑盒调整中以优化任务特定的连续提示。实验结果表明，GDFO 可以取得显著的性能提升。

    May, 2023

  • 通过无需调参的随机学习实现同时进行模型选择和优化

    该论文提出了一种基于核的随机梯度下降算法，在训练过程中进行模型选择，不需任何形式的交叉验证或参数调整，并利用在线学习理论在数据相关性方面进行正则化的估计，证明了标准光滑性假设下的最优收敛速度。

    Jun, 2014