Oct, 2017

组合惩罚：凸松弛保留了哪些结构？

PDF
TL;DR通过研究支持集上的组合惩罚函数的同质和非同质凸松弛，提出了一种基于凸单调正则化器的自适应估计器，利用集函数的较低组合信封概念和新的支持识别必要条件，得出了支持恢复的新充分条件（发现其紧度不同）。
convex relaxationscombinatorial penalty functionssupport setsadaptive estimatorsupport recovery
发现论文，激发创造
  • 子模函数引导的结构稀疏惩罚范数

    本文研究了一种新的稀疏学习方法，提出了一种新的凸优化方法，利用一些子模函数的拓展得到了一类较通用的多面规范，并提供算法工具和理论结果。

    Aug, 2010

  • 非协调正则化支持恢复

    本论文使用原始 - 对偶见证证明方法证明了在回归问题中，即使损失函数和 / 或正则化器是非凸的，也可以建立变量选择一致性和 l∞- 界限。使用这种方法，我们得出了两个关于支持恢复和 l∞ - 保证回归估计器的定理，我们的结果为使用非凸正则化器提供了严格的理论依据

    Dec, 2014

  • 正则化与放松：统计变量选择的锥优化视角

    本文介绍了如何将一个经典的稀疏正则化模型 with an l0 范数惩罚转化为凸松弛的形式，在此基础上通过引入远离凸性的惩罚函数，如 Minimax Concave Penalty (MCP) 以及 reverse Huber penalty，进一步推导出新的解法，并且可以通过半定松弛方法求解。文章最终通过 Goemans-Williamson 圆整算法来找到近似解。

    Oct, 2015

  • 稀疏回归的一级凸化

    本文提出了一种基于理想 (凸包) 形式的新的计算稀疏回归的强凸松弛方式，采用半定优化问题在扩展空间中求解，具有更强更通用的性能。实验表明，所提出的锥形公式的解可以在几秒钟内求解，且在统计学上的预测精度和解释性上表现更佳。

    Jan, 2019

  • 非对易变量的多项式优化问题的收敛松弛

    本文介绍了一种解决量子理论和量子信息科学中涉及的多项式不等式约束的最优化问题的方法，使用一系列半定规划松弛方法生成一个单调递增的下界序列，并介绍了从相应的半定规划问题的解中提取全局优化器的方法。

    Mar, 2009

  • 具有指示变量的有约束凸优化问题的理想公式

    研究利用指标变量和指标上的组合约束凸化一类凸优化问题，给出了一个一维凸函数和仿射函数组合的上凸包描述，推导了多种情况下的理想凸化， 并在实际数据集上进行计算实验，结果显示该方法可提高松弛质量。

    Jun, 2020

  • 具有非凸性的正则化 M 估计：局部最优解的统计和算法理论

    本文提供了关于正则化 M - 估计器局部最优解的新理论结果，覆盖了许多感兴趣的非凸目标函数，包括误差 - 变量线性模型的校正套索方法，具有非凸罚项的广义线性模型回归，以及高维图模型估计，我们提供了误差的上限，证明了我们的理论结果，同时提出了一种简单的修改方法，使得可以在 log (1/∊) 步内以任意精度获得近似全局最优解，这是任何一阶方法可能达到的最快速度。

    May, 2013

  • 部分平滑正则化的自由度

    本文考虑正则化回归问题，其中先验正则化器是一个凸函数并对于黎曼子流形是部分光滑的，我们研究了任何正则化最小化器对观察值微小扰动的敏感性，并提供了其精确的本地参数化。我们的主要敏感性分析结果表明，在观测变化微小地情况下，预测变化在同一活动子流形上局部稳定。

    Apr, 2014

  • 稀疏惩罚优化

    本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术，包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时，我们提供了一组广泛的实验来比较各种算法在计算方面的差异。

    Aug, 2011

  • 单调性正则化：改进的惩罚及其在去耦合表示学习和强鲁棒分类中的新应用

    通过使用梯度惩罚以及风险最小化，我们研究了满足不同单调性概念的预测器，介绍了一种方法来使用训练实例和随机点来扩展惩罚的范围，在不增加计算开销的同时，在图像分类和生成建模等领域实现了控制数据生成、检测异常数据和生成预测解释等的优势。

    May, 2022