Aug, 2014

优化算法的积分二次约束分析与设计

PDF
TL;DR本研究提出了一种基于 “积分二次约束（IQC）” 的新框架来分析和设计迭代优化算法，在优化算法中应用 IQC 理论和半定规划来验证复杂相互链接系统的稳定性，探讨了 IQC 理论在研究优化算法方面进行适应性调整的方法，通过研究凸函数得出新的不等式并给出了梯度方法、重球方法、Nesterov 加速方法、以及相关变体的收敛率的数值上界解。最后，简要介绍了如何利用这些技术来搜索具有所需性能特性的优化算法，从而确立了一种新的算法设计方法。
iterative optimization algorithmsintegral quadratic constraintsconvex functionssemidefinite programmingconvergence rates
发现论文，激发创造
  • 通过积分二次约束分析优化算法：非强凸问题

    本文提出了一个统一的框架，能够证明广泛使用的迭代一阶优化算法的指数收敛和次指数收敛速率，并展示了该框架对梯度法、近端算法及其加速变体的实用性，同时开发了连续时间对应物，能够分析梯度流和 Nesterov 加速法的连续时间极限。

    May, 2017

  • 利用积分二次约束的指数收敛界限

    本文提出了一种修改后的 Megretski 和 Rantzer 的 IQC 结果，该结果导致了一种可处理的计算过程，以找到指数速率证书，从而在包含非线性或不确定元素的系统中验证稳定性和增益边界特性。

    Mar, 2015

  • 鲁棒性和结构性优化算法：一种积分二次约束方法

    该研究考虑一类具有强凸目标函数和 Lipschitz 连续梯度的无约束优化问题的梯度优化算法的分析和设计，通过将问题制定为鲁棒性分析问题并利用适当的积分二次约束理论进行设计，以提高现有算法的收敛速度和鲁棒性能力，并能够利用目标函数中的附加结构。

    May, 2019

  • IQN：一种具有局部超线性收敛速率的增量拟牛顿方法

    本文提出一种增量式拟牛顿方法来最小化一个可用 n 个平滑和强凸函数表示的目标函数，该方法是一种随机和增量方法，每次迭代的成本与 n 无关，其收敛特性介于确定性和随机拟牛顿方法之间，利用聚合信息和泰勒展开近似函数、周期性更新目标函数等特性实现了在最优解局部范围内的局部超线性收敛率。

    Feb, 2017

  • 具有等式和约束条件的一类优化问题的加速算法

    本文提出一种新的高阶调谐器，以适应等式约束存在的情况，并通过引入时间变化增益来适应基础盒式约束，利用凸性确保任何时刻都满足约束条件，提供数值实例以支持理论推导。

    May, 2023

  • 非凸二次约束二次规划问题的通用启发式算法

    该论文介绍了 Suggest-and-Improve 框架和基于 Python 的 QCQP 开源软件包，用于解决一般非凸二次约束二次规划问题，并提供了一些启发式方法。

    Mar, 2017

  • 半正定松弛局部稳定性

    研究了二次约束二次规划及其半定松弛的一个参数化族，并给出了在参数值改变时半定松弛的精确性条件，在估计问题中有广泛应用，并可用于分析一般多项式优化问题的松弛稳定性。

    Oct, 2017

  • 关于 QCQP 的 SDP 松弛的紧度

    本文探讨了标准半正定规划松弛下紧 QCQP 的条件，表明当二次本征值多重性足够大时松弛是紧的，并得到了相似的充分条件。此外，结果还暗示了同时对角化 QCQP 的二阶锥松弛的紧性的新充分条件。

    Nov, 2019

  • 改进受限积分的求积

    本研究提出了改进的贝叶斯框架，用于估计受限函数的仿射变换并实现四重积分，重点关注非负函数约束和以非负数与有限数为范围的函数约束，最终提出了一种在原始空间下进行超参数优化的新方法，实验结果表明我们的框架比现有的贝叶斯四重积分程序效果更好并且更快。

    Feb, 2018

  • 椭圆体上的二次规划（应用于约束线性回归和张量分解）

    本研究提出了一种基于升级拉格朗日算法的椭圆二次规划问题求解新算法，通过将问题分解为球上的二次规划问题和正交投影问题并分别求解，改进二次约束 QP 求解中矩阵条件数的方法提高了算法收敛速度，并在受限线性回归和张量分解方面进行了应用。

    Nov, 2017