本文提出针对非光滑正则化惩罚的随机合成问题的最优化方法,在强凸组合问题中证明线性收敛,对于普通组合问题改进了现有的收敛速率,应用于强化学习中的投资组合管理和政策评估,结果验证了我们的理论分析。
Nov, 2017
本文提出了一种新的随机组合减少方差的梯度算法来解决现有算法在算法设计中忽略凸性结构而导致的样本复杂度和实践问题,实验结果表明了该算法的有效性和效率。
Jun, 2018
本研究提出了两种利用移动平均随机估计的梯度下降算法,用于解决多层级组合优化问题,并且修改后的算法在不需要小批量样本的前提下,大大提高了样本复杂度,最终达到了单层级设置的同样的样本复杂度。
Aug, 2020
本文提出了一种新的Stochastically Corrected Stochastic Compositional梯度方法(SCSC),该方法可应用于用于强化学习和元学习等应用中的随机组合优化问题,并使用SGD的改进来加速收敛。
该论文研究了一种用于解决机器学习中优化非凸或凸组合测度/目标的随机算法,并提供了适用于非凸和凸目标的收敛分析。其中用到的算法是基于移动平均估计器的,且还提供了可以提高实现精度的新方法。
Feb, 2022
探讨了针对多层分布式部署的随机优化问题的两种新的分布式优化算法,并在理论上和实验中验证了两种算法的有效性。
Jun, 2023
通过统计学习理论的算法稳定性角度,本文提供了随机组合梯度下降算法的稳定性和泛化分析,包括引入组合均匀稳定性的概念、建立其与复合优化问题泛化性能的定量关系、针对两种常用的随机组合梯度下降算法SCGD和SCSC建立组合均匀稳定性结果,并通过权衡稳定性结果和优化误差,导出了SCGD和SCSC的维度无关的超额风险界限。据我们所知,这是第一次关于随机组合梯度下降算法稳定性和泛化分析的结果。
Jul, 2023
该研究开发和分析了用于解决嵌套复合双层优化问题的随机逼近算法,并利用Neumann级数逼近来避免矩阵求逆,以实现对于存在偏差的随机梯度的稳定解决方案,研究成果具有在深度神经网络中应用鲁棒特征学习等方面的实际优势。
通过开发一种新的具有动量的分布式随机组合梯度下降上升算法,我们解决了分布式组合极小化问题中内层函数的共识误差,并证明了其能够实现线性加速。我们相信这种算法设计能够促进分布式组合优化的发展。对于不平衡分类问题,我们的广泛实验结果证明了算法的有效性。
本文研究的是具有新族类的组合优化问题,即非光滑弱凸有限和耦合组合优化问题(NSWC FCCO)。我们通过研究非光滑弱凸的FCCO问题对现有研究进行了拓展,并进一步扩展了算法解决新型非光滑弱凸三层有限和耦合组合优化问题,并通过实证研究展示了算法的有效性。
Oct, 2023