- ICLR高效连续有限和最小化
提出了一种称为连续有限和最小化的方法,通过使用第一阶段随机方差减少梯度法(CSVRG)生成近似最优解的序列,改进了有限和最小化问题的复杂度。
- 凸优化中算法可重复性和梯度复杂性的最佳保证
通过改变训练过程中的微小变化以度量算法的可重现性,我们挑战了之前的观点,并证明在各种有错误的预测设置下,对于平滑凸优化和平滑凸凹极小极大问题,可以实现最佳的可重现性和接近最优的收敛保证。
- Adam 算法在宽松条件下的收敛性
本文提供了自适应矩估计(Adam)算法对于广泛类别的优化目标的收敛性严谨证明,并在更为现实的条件下证明了 Adam 算法可收敛于 ε- 稳定点。同时,我们提出了一种方差抑制的加速梯度复杂度版本的 Adam 算法。
- 非凸分布鲁棒优化:非渐近分析
本研究探讨分布式鲁棒优化,提出了一种适用于一般光滑非凸损失的 DRO 算法,并将其与条件风险价值(CVaR)设置相结合,得到类似的收敛保证,经实验证明所提出算法的性能表现突出。
- 凸凹最小化极小化优化的改进算法
该研究针对广泛应用于深度学习等领域的极小极大优化问题提出了新算法,利用加速方法获得极小极大问题的优秀渐进收敛速度和更紧密的条件数依赖性.
- 极小极大优化的近似最优算法
本文提出了一种基于加速的近端点方法和最小值近端步求解器的算法,其梯度复杂度为 O(kappa_x kappa_y^0.5),匹配了已有的最优下界,可用于解决强凸强凹、凸凹、非凸强凹和非凸凹函数的问题。
- 随机递归方差减小的三次正则化方法
提出了一种 Stochastic Variance-Reduced Cubic regularization (SVRC) 算法的改进型,叫做 Stochastic Recursive Variance-Reduced Cubic regu - 通过随机嵌套方差缩减寻找局部最小值
提出两个算法,其中一个利用随机嵌套方差降低算法能快速找到局部最小值, 算法在有限和一般随机非凸优化中的效果都优于现有算法,并进一步探索了目标函数的三阶光滑度加速优化的情况。
- 随机嵌套方差缩减非凸优化
我们提出了一种基于嵌套方差降低的新随机梯度下降算法,可用于解决有限个数个、非凸函数的优化问题,并且在平滑非凸函数上具有比现有算法更好的梯度复杂度。
- ICML随机方差减少的哈密顿蒙特卡洛方法
本文提出了一种快速的随机 Hamilton Monte Carlo 方法,用于从一个光滑而强烈对数凹的分布中进行采样。通过梯度复杂度来衡量算法的性能,实验结果表明,该算法在采样效率上跑赢了现有的 HMC 和 Stochastic Gradi