- 保障自适应方法:巴基莱 - 波尔温法和其他步长选择的全局收敛
通过对于凸最小化问题的自适应方法的最新进展的利用,本文提供了一种无需线搜索的近端梯度下降框架,用于全局化收敛于流行的步长选择,如 Barzilai-Borwein 和一维 Anderson 加速。该框架可以处理梯度可微函数只具有局部 Hol - 重新审视亚梯度法:超越 Lipschitz 连续性的复杂度和收敛性
本文研究了基于次梯度方法的非光滑优化问题,针对具有凸性和弱凸性的目标函数,推导了次梯度方法的收敛性和复杂度界限,证明了步长的选取可以控制其移动轨迹,从而保证算法的收敛性。同时,还将该方法拓展到了截断型、随机型、增量型等非 Lipschitz - 关于使用低秩投影的投影梯度方法收敛于迹范数球约束下的平滑凸规划及相关问题
本文介绍了一种使用低秩 SVD 计算的简单启发式算法,使得标准一阶方法可以实现局部收敛,并可用于平滑凸规划的计算,以及带缩放梯度正则化和约束半正定矩阵上的计算。这些计算为机器学习,信号处理和统计学等领域中底秩矩阵恢复问题提供了实质性帮助。
- 一种基于条件梯度的增广 Lagrangian 框架
本文研究了具有仿射约束的通用凸优化模板,提出了一种新的基于平滑和增广 Lagrangian 框架统一处理的条件梯度算法,证明了该方法在目标残差和可行性差距方面具有 O (1 / 根号 k) 的收敛速率,特别适用于各种半定规划应用。
- 近似对偶间隙技术:一种统一的一阶方法理论
本文提出了一种分析一阶方法的通用技术,其中利用适当的目标函数近似构建对偶间隙,该函数近似随着算法收敛而改善。通过捕获近似对偶间隙以特定速率的不变量,我们证明了在连续时间中的执行能够恢复广泛的一阶连续时间方法。我们对不同离散化方法引起的离散化 - NIPS通过随机凸面化和频域最小化实现高效卷积自编码
本研究提出了一种高效的层级无监督训练深度卷积神经网络的学习策略,采用随机凸化的重构压缩自编码学习目标,并通过坐标下降法在频域中解决 resulting large-scale convex minimization problem,具有单个 - 关于广义近端点算法的最优线性收敛速率
研究了泛化的 “Proximal Point Algorithm(PPA)” 在寻找 “Maximal Monotone Operator” 的零点上的线性收敛率问题,并证明 Rockafellar 提出的条件足以确保这种泛化的 PPA 的 - 从误差界到凸函数的一阶下降方法复杂度
本文提出了一种基于误差界的方法,通过与 Kurdyka-Łojasiewicz 不等式的相互作用和设计一维最坏情况的近似方法,分析了针对凸约束问题的首阶下降方法的复杂度。
- 图上的趋势过滤
基于离散图差的 L1 范数惩罚,我们介绍了一族图上的自适应估计器。该方法将非参数回归中的趋势滤波推广到图中,相当于 univariate case,它表现出一定程度的局部适应性,也是由一个凸优化问题定义的,可以很容易地通过高效 ADMM 或 - 线性查询以外的私有乘性权重
本研究介绍了一种在保护数据隐私的前提下解决机器学习中凸函数最小化问题的方法,特别是针对线性问题给出了一种算法,扩展到了敏感数据集上的凸函数最小化问题并解决了指数级别的问题。
- 平滑凸优化的优化一阶方法
本论文提出一种优化的一阶方法,用于平滑无约束凸规划问题,达到比 Nesterov 的快速梯度下降法收敛速度两倍更快的收敛速度,并具有与 Nesterov 的快速梯度下降方法相似的高效的递归形式。
- 使用双块交替方向乘子法解决多块可分凸最小化问题
本文探讨使用交替方向乘子法(ADMM)来解决多块可分凸优化问题。提出了一种将多块问题转化为等价的二块问题来解决的策略,并分别从理论和实验结果两方面证明了其收敛性和数值效率优势。
- 复合最小化问题的近端牛顿框架:无需 Cholesky 分解和矩阵求逆的图学习
提出了一种基于新的近端牛顿算法的凸优化方法,应用于图学习问题中的稀疏逆协方差矩阵估计,避免了矩阵求逆,适合并行实现。
- 平滑凸函数极小化的一阶方法性能:一种新方法
本文介绍了一种新颖的方法,用于分析第一阶段黑盒优化方法的性能,着重于欧几里得空间 Rd 上的平滑无约束凸最小化,研究了两类一阶方法的性能估计问题(PEP),陈述了如何通过解决凸半正性 PEP 来导出这些方法的性能的新数值界,并演示了一种有效 - 一种新的 M - 估计器用于鲁棒主成分分析
研究了鲁棒子空间恢复的基本问题,通过解决凸最小化过程来估计 “鲁棒逆样本协方差”,然后通过此矩阵的底部特征向量(其数量对应于接近 0 的特征值的数量)恢复子空间。我们保证在某些条件下精确恢复子空间,同时提出了一种快速迭代算法,可线性收敛到最 - 可分解次模函数的高效最小化
本文研究了一类新的子模函数优化问题,提出了一种基于平滑凸优化的算法 SLG,可用于解决具有数万个变量的分解子模函数问题,而且在一些合成基准测试和联合分类和分割任务中优于现有的子模函数优化算法。