AAAINov, 2015

非光滑和非凸优化的轻松主元最小化

PDF
TL;DR本文提出了一种新的主化 - 最小化（MM）方法，适用于非光滑和非凸规划，其广泛性足以涵盖现有的 MM 方法。与现有的 MM 方法相比，该方法构建替代函数的方式更优越，相应的算法在抗干扰矩阵分解问题（RMF）中得到应用，并非仅仅基于平滑部分逼近的代理函数，而是直接逼近非平滑目标函数。
发现论文，激发创造
  • 增量主次优化在大规模机器学习中的应用

    提出了一种增量主化极小化算法，用于最小化连续函数的大量和，研究给出了非凸优化的渐近稳定点保证，并针对凸优化提供了期望目标函数值的收敛速度，在实验中展示了该方法在解决机器学习问题方面的竞争力以及处理非凸性惩罚稀疏估计的实用性。

    Feb, 2014

  • 大规模优化的随机主支配 - 最小化算法

    本文提出了一种可扩展的随机主化最小化方案，能够应对大规模或可能无限的数据集，解决凸优化问题，并开发了几种基于此框架的有效算法，包括一个新的随机近端梯度方法，用于大规模 l1 逻辑回归的非凸稀疏估计的在线 DC 编程算法和解决大规模结构矩阵分解问题的有效性。

    Jun, 2013

  • 通用主配对算法

    使用 Taylor 模式自动微分的近期泛化方法，我们提出了自动推导 majorizer 的优化器，这些通用的 Majorization-Minimization 优化器可应用于任意问题，并且从任何起始点收敛，无需超参数调整。

    Jul, 2023

  • 非凸主降 - 最小化复合优化

    我们考虑了一类非凸主泛函，证明这些主泛函仍足以保证全局收敛的优化算法，并通过对原始飞行时间数据的深度超分辨率来说明我们算法的行为。

    Feb, 2018

  • 正则化泊松非负矩阵分解的高效算法

    我们研究了正则化泊松非负矩阵分解（NMF）问题，包括利普希茨和相对平滑函数以及线性约束的各种正则化项。我们利用块递进上界最小化（BSUM）来克服主要损失项为 KL 散度的挑战，构建适当的上界函数，并展示如何引入线性约束进入该问题中。这导致了两种新的正则化泊松 NMF 算法的发展。我们进行了数值模拟展示我们方法的有效性。

    Apr, 2024

  • 自适应减小平滑的高效 MRF 能量最小化

    考虑 Markov 随机场能量最小化问题的线性规划放松，使用平滑技术缓解原问题的非光滑特性，通过基于松弛主次目标函数的对偶差距的自适应缩减方法，提出了一种避免迭代过程中对平滑参数进行人工调整的策略，能够稳定收敛于全局最优解。

    Oct, 2012

  • 低秩矩阵优化的非凸几何

    本文针对两个广泛使用的最小化问题：凸函数最小化问题和加上核范数的凸函数最小化问题，提出使用低秩分解和替代核范数的方法来加速求解问题，并证明其可以在全局范围内找到最优解。

    Nov, 2016

  • 通过非对称技术来实现受限子模最大化

    本文研究了带有子模性目标函数的组合优化问题，提出了一种基于新技术的算法来优化多线性松弛问题，该算法避免了对称性等性质的需要，适用于约束问题，相比之前的算法，它具有更好的保证。

    Nov, 2016

  • 非凸优化遇见低秩矩阵分解：概述

    本文从统计模型的角度出发，系统地讨论低秩矩阵分解非凸优化的可靠解法，总结出了两种方法：1. 根据问题特征设计初始值，进行迭代求解；2. 利用全局凸性分析，无需初始值，直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。

    Sep, 2018

  • 非凸因式分解实现保证矩阵补全

    矩阵分解是一种常用的大规模矩阵补全方法，本文提出了一种理论保证，即在正则化条件下，优化算法可以收敛于矩阵分解的全局最优解，并恢复真实的低秩矩阵，其中的非对称矩阵分解的扰动分析是一项技术贡献。

    Nov, 2014