- 在 Wasserstein 空间中的非测地凸优化
研究了定义在 Wasserstein 空间(概率测度空间)中的一类优化问题,其中目标函数沿广义测地线是非凸函数。当正则化项为负熵时,优化问题转化为一个采样问题,在概率测度(优化变量)和目标概率测度之间最小化 Kullback-Leibler - 去方差加速的分散随机双正则化非凸强凸极小极大问题求解方法
提出了一种 VRLM 方法,它可以实现分布式、随机的非凸最小极大问题,使用 VR 技术达到较低的复杂度。
- 基于正态映射的 Prox-SGD 方法在 KL 不等式下的收敛性
本文提出了一种新的基于随机正则映射的算法,用于非凸复合型优化问题,并讨论了其全局收敛效果及其叠加点所对应的稳态点的期望特性。
- 无惧选择:几乎所有的小批量调度都可以最优泛化
本研究建立了优化算法,分析了批处理的优点,证明了基于批处理训练的渐进误差上下界。
- 关于平滑非凸有限和优化的下界
本文研究了平滑的非凸有限和优化的下界,并证明了在不同设置下找到 ε- 次优点和 ε- 近似稳定点的复杂度的严格下界,以及一些现有算法的最佳增量一阶预测器(IFO)复杂度。
- 非凸背景下 Langevin 动力学算法的尖锐收敛速率
本研究研究了在采样中采用了过阻尼和欠阻尼 Langevin MCMC,证明了算法的迭代复杂度在维度和目标准确度方面均是多项式级别的,但在问题参数 LR ^ 2 中是指数级别的,从而可以更好地进行非凸优化。
- 超越凸性和 Lipschitz 梯度连续性的一阶方法及其在二次逆问题中的应用
利用可适应性光滑函数的概念和 Bregman 基础的近端梯度方法,在解决具有复杂目标函数的非凸、非光滑最小化问题时,实现全局收敛。
- 高维非凸估计的谱初始化相变
本文研究了一种用于非凸场景下估计信号的光谱初始化方法,考虑了任意广义线性传感模型,并精确地描述了该方法在高维极限下的性能,揭示了依赖于样本数和信号维度之比的相位转换现象。
- APALM 拍手声:随机异步 PALM 加速非光滑非凸优化
介绍了一种新的非凸非光滑优化问题的块坐标随机梯度下降优化方法:Stochastic Asynchronous Proximal Alternating Linearized Minimization (SAPALM),该方法在大类别的问题上 - MM球面上的完整字典恢复 I:概述和几何图像
研究矩阵恢复的问题,探讨了通过优化解决该问题的方法,证明了当稀疏度为 $O (n)$ 时,算法具有恢复原始矩阵的能力,并提供了实现该方法的最新算法。
- 非凸组合问题的 Bregman 交替方向乘数法收敛性研究
本文研究了一种名为 Bregman modification 的 ADMM 算法,在某些限定条件下证明了 BADMM 迭代序列能够收敛到相关增广拉格朗日函数的静止点,这为 ADMM 在非凸设置中的应用提供了可行性。
- 块随机梯度迭代用于凸和非凸优化
本文介绍了一种将 Stochastic Gradient 和 Block Coordinate Descent 结合的方法,名为 Block Stochastic Gradient,它可以解决包含多个变量块的目标函数的优化问题,无论是凸优化 - Laplacian K-modes 算法聚类
提出一种新算法 - Laplacian K-modes 聚类算法,它融合了聚类中三种不同的思想:K-means 中的隐式分配变量,mean-shift 中的密度估计,和图拉普拉斯正则化效应中的近邻点相似性分配,该算法可以解决难以聚类的问题, - 径向网络中最优功率流的精确凸松弛
通过将可行集合轻微缩小,针对径向网络,可以在先验可检查的条件下通过二阶锥规划 (SOCP) 松弛恢复 OPF 的全局最优解。针对 IEEE 13、34、37、123 节点总线网络和两个实际网络,该条件成立并具有物理解释。
- 超高维非凸惩罚回归的校准
本文研究高维非凸罚函数回归问题,提出了一种易于计算的校准 CCCP 算法和高维 BIC 准则,可以用于解决问题中的多个局部极小值和未知的最优参数。研究结果表明,该方法在高维数据分析中具有良好的性能。
- 用于非光滑优化的分块逐步最小化方法的统一收敛分析
本篇论文探讨了一种近似的 BCD 方法,通过 successively 最小化一系列 f 不等式紧上界或者局部严格凸逼近来更新变量块,该方法适用于不可微或非凸问题,并能够实现收敛性的特征描述。这个结果将许多经典算法的收敛结果统一和扩展了,如