Mar, 2023

具有指示变量的一阶排名函数的约束优化

PDF
TL;DR本文研究了通过透视重构技术寻找紧凑扩展表达式来解决在机器学习中出现的在约束范围内最小化排名一凸函数的优化问题，通过建立一般锥混合二进制集合的凸包结果，并展示了这种方法能够针对非线性可分离的客观函数、连续变量符号约束、指示器变量组合约束的约束关系进行透视式的解法。此方法在解决稀疏非负逻辑回归问题上表现出高效性。
发现论文，激发创造
  • 具有指示变量的有约束凸优化问题的理想公式

    研究利用指标变量和指标上的组合约束凸化一类凸优化问题，给出了一个一维凸函数和仿射函数组合的上凸包描述，推导了多种情况下的理想凸化， 并在实际数据集上进行计算实验，结果显示该方法可提高松弛质量。

    Jun, 2020

  • 低秩优化的新视角

    本文介绍了一种基于矩阵透视函数的低秩问题的新方法，该方法通过特征向量的正交投影来获得矩阵上简单低秩集的凸包，从而获得了一种可靠的矩阵透视重构技术，并将其应用于多种低秩问题中，最终实现了半正定约束的优化。

    May, 2021

  • 稀疏回归的一级凸化

    本文提出了一种基于理想 (凸包) 形式的新的计算稀疏回归的强凸松弛方式，采用半定优化问题在扩展空间中求解，具有更强更通用的性能。实验表明，所提出的锥形公式的解可以在几秒钟内求解，且在统计学上的预测精度和解释性上表现更佳。

    Jan, 2019

  • 通过锥优化的鲁棒支持向量机

    使用混合整数优化技术得出一种新的损失函数，使之比现有方案更好地逼近 0-1 损失函数，同时保持学习问题的凸性，具有与标准支持向量机相竞争的性能，且在存在异常值时表现更好。

    Feb, 2024

  • 带逻辑约束的混合整数优化问题的统一方法

    本文研究了一种统一的框架方法用于解决一类混合整数优化问题，通过对其逻辑约束进行非线性方式的表达，结合规则化条件及基于混合精度算法，形成了凸二进制优化问题，并利用一种综合的数字策略方法解决问题。

    Jul, 2019

  • 回归中的异常值检测：锥二次形式

    本论文提出了使用二阶锥松弛方法来解决具有离群值时使用线性回归模型所遇到的混合整数优化问题，相比于现有方法使用的大 M 约束进行的线性化，该方法具有更强的弛豫度且性能更优。

    Jul, 2023

  • 正则化与放松：统计变量选择的锥优化视角

    本文介绍了如何将一个经典的稀疏正则化模型 with an l0 范数惩罚转化为凸松弛的形式，在此基础上通过引入远离凸性的惩罚函数，如 Minimax Concave Penalty (MCP) 以及 reverse Huber penalty，进一步推导出新的解法，并且可以通过半定松弛方法求解。文章最终通过 Goemans-Williamson 圆整算法来找到近似解。

    Oct, 2015

  • 子模函数引导的结构稀疏惩罚范数

    本文研究了一种新的稀疏学习方法，提出了一种新的凸优化方法，利用一些子模函数的拓展得到了一类较通用的多面规范，并提供算法工具和理论结果。

    Aug, 2010

  • 低秩矩阵优化的非凸几何

    本文针对两个广泛使用的最小化问题：凸函数最小化问题和加上核范数的凸函数最小化问题，提出使用低秩分解和替代核范数的方法来加速求解问题，并证明其可以在全局范围内找到最优解。

    Nov, 2016

  • 基于凸优化的结构稀疏化

    本文介绍了一种基于结构规则的稀疏估计方法，通过应用不仅仅关注稀疏性，而且可以考虑一些结构化先验知识，这种方法可以处理多种结构的问题。同时，我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。

    Sep, 2011