Feb, 2024

免调节的随机优化

TL;DR大规模机器学习问题中,通过松散提示参数信息,提出了能够自动调整的 “无需调参” 的算法,能够与最优调参优化算法在多对数因子上实现性能匹配,特别是对于有界优化领域,证明了这种匹配是可能的,并且多个现有算法已经实现了该特性。然而,在无界领域中,证明了无需调参优化是不可能的,但在噪声分布足够良好的情况下,通过一些算法如 DoG 和 DoWG,可以满足无需调参的条件。对于查找光滑且可能非凸函数的稳定点,提出了一种改进的随机梯度下降(SGD)变体,以仅有多对数成本匹配调参 SGD 的最佳已知高概率收敛率,然而,也证明了任何算法都不可能满足与调参 SGD 高概率收敛率相匹配的最优期望收敛率。