提出了一个凸化框架,使用随机梯度方法的算法来解决不同领域的优化问题,包括监督学习和动态系统,并且导出了模型驱动和模型无关的策略梯度优化算法,收敛性得到保证。
Jun, 2014
本文提出一个快速和简单的算法来计算在标准单纯形三角形上的投影,利用 Moreau 恒等式,我们展示了该问题本质上是一元最小化问题,目标函数是严格凸的,且连续可微。此外,研究表明,最多有 n 个候选者可以明确计算,而最小化程序是唯一一个落入正确区间的程序。
Jan, 2011
本文提出了一种简单高效的算法,用于计算点在概率单纯形上的欧几里得投影,并展示了其在拉普拉斯 K 模聚类中的应用。
Sep, 2013
提出了一种适用于相对熵锥内凸优化问题的条件梯度方法的修改算法,其每次迭代的复杂度与标准条件梯度方法的复杂度基本相同,对于最小化的强凸性和平滑性函数,该方法的期望逼近误差在使用 t 次迭代之后为 O (β/t),在所有已知的条件梯度变体中,该算法的收敛速率更快,同时呈现出了鼓舞人心的初步实证结果。
May, 2016
我们提出了一种随机梯度框架,用于解决具有(可能)无限数量的线性包含约束条件的随机复合凸优化问题,而这些约束条件需要几乎确定。我们使用平滑和同伦技术处理约束条件,无需矩阵投影,并且通过数值实验表明,我们的算法实现了最先进的实用性能。
Jan, 2019
本文提出一族算法通过简单的随机模型样本和优化方法,成功的减少了目标函数。我们展示出,合理的近似质量和模型的正则性下,此类算法将自然的稳定度衡量推向 0,该衰减速度为 O (k^(-1/4)),基于此原理,我们为随机的近端子梯度法,近端次梯度法以及规则化的高斯牛顿法等提供了第一个复杂性保证。
Mar, 2018
通过研究在信号处理和机器学习中的应用,本论文讨论了两类具有挑战的凸优化问题,提出了一种解决方案,并给出了条件梯度算法的版本以及相应的效率估计和应用。
Feb, 2013
该论文提出了基于随机条件梯度方法的优化问题求解算法,用于解决大规模维度下的凸函数、连续子模型等多种问题,并证明了当问题维度高时,该方法较与传统的随机梯度下降法更加稳定,同时计算时间复杂度也得到了有效降低。
Apr, 2018
通过对随机凸优化问题进行第一次严格分析,本文提出了描述随机凸优化问题中相变现象的工具,以及可靠地预测转变区域位置和宽度的技术,这些技术适用于具有随机测量的正则化线性逆问题、随机不连贯模型下的分离问题以及随机仿射约束锥形程序等;该文还引入了统计维度这一概要参数来说明这一应用结果依赖于锥形几何的基础研究,并且通过展示锥形几何中一系列内固体积集中分布在其上,得到了对于随机旋转锥体和一个固定锥体共享射线的概率的准确上界。
Mar, 2013
本研究介绍了一种基于条件梯度算法的优化模型,可用于求解线性优化问题和非线性凸优化问题,并给出了一种基于此算法的在线凸优化算法,具有线性收敛速度和最优的遗憾保证。
Jan, 2013