风险厌恶通用凸化
本文针对非凸非光滑问题提出新的算法稳定性度量方法,同时建立它们与梯度之间的量化关系,并使用采样确定算法导出了随机梯度下降算法和其自适应变种的误差界。
Jun, 2022
本文提出了一种非凸优化控制问题的解决算法,该算法通过逐步线性化来将非线性动态转化为凸问题,从而解决路径规划等实时应用中非常紧迫的控制问题,并将虚拟控制和信任区域等安全措施纳入算法中。
Aug, 2016
我们提出了一种随机梯度框架,用于解决具有(可能)无限数量的线性包含约束条件的随机复合凸优化问题,而这些约束条件需要几乎确定。我们使用平滑和同伦技术处理约束条件,无需矩阵投影,并且通过数值实验表明,我们的算法实现了最先进的实用性能。
Jan, 2019
本研究探讨了安全强化学习问题与非线性函数逼近的关系,将策略优化作为同时考虑目标与限制的非凸问题,通过构建一系列局部替换非凸函数为凸二次函数的约束优化问题,证明了对这些问题求解,其解会收敛于原问题的稳定点;进一步将该算法应用于优化控制和多智能体安全强化学习问题,扩展了理论研究的范围。
Oct, 2019
本文提出一族算法通过简单的随机模型样本和优化方法,成功的减少了目标函数。我们展示出,合理的近似质量和模型的正则性下,此类算法将自然的稳定度衡量推向 0,该衰减速度为 O (k^(-1/4)),基于此原理,我们为随机的近端子梯度法,近端次梯度法以及规则化的高斯牛顿法等提供了第一个复杂性保证。
Mar, 2018
研究非凸性学习任务中经验风险的精细属性(梯度)和群体对应属性的收敛速度以及收敛对优化的影响;提出矢量值 Rademacher 复杂性作为导出非凸问题梯度无维度一致收敛界的工具;给出了应用这些技术进行非凸广义线性模型和非凸健壮回归的批梯度下降方法的新分析,显示了使用任何找到近似稳定点的算法可以获得最优样本复杂度。
Oct, 2018
本文介绍了一种新的非均匀光滑条件下的优化方法,并开发出一种简单但有效的分析技术来限制沿轨迹的梯度,从而获得更强的凸优化和非凸优化问题的结果。我们通过这种新方法证明了(随机)梯度下降和 Nesterov 加速梯度法在这种一般的光滑条件下的收敛率,而不需要梯度剪裁,并允许在随机场景中的有界方差的重尾噪声。
Jun, 2023
本研究提出了一种基于条件风险的风险敏感型目标函数,并使用输入凸神经网络对其建模,以实现与动作的凸性和简单梯度跟踪方法相关的全局最优动作的识别,该方法在维护有效的风险控制方面表现出了显著的效果。
Jun, 2023
该论文提出了基于随机条件梯度方法的优化问题求解算法,用于解决大规模维度下的凸函数、连续子模型等多种问题,并证明了当问题维度高时,该方法较与传统的随机梯度下降法更加稳定,同时计算时间复杂度也得到了有效降低。
Apr, 2018
本文研究了一类非凸的最小值最大值问题,其中目标函数在最小化变量上是弱凸的,在最大化变量上是凸的。针对不同的光滑和不光滑的实例,我们提出了近端引导随机次梯度方法和近端引导随机方差减少方法。同时,我们分析了所提出方法在找到最小值和最大值对应的几乎稳定点的时间复杂性。
Oct, 2018