Mar, 2012

贪心稀疏约束优化

PDF
TL;DR该研究提出了一种贪心算法，Gradient Support Pursuit (GraSP)，以近似任意形式损失函数的稀疏极小值，适用于稀疏逻辑回归等问题，算法性能通过在合成数据上的数值模拟进行评估。
sparsity-constrained optimizationgradient support pursuitnonlinear modelsstable restricted hessiansparse logistic regression
发现论文，激发创造
  • 基于松弛梯度支持追踪的高效稀疏受限非凸优化

    论文提出了一种新的松弛梯度支持追踪（RGraSP）框架，其中次算法只需满足弱下降条件，两个特定的半随机梯度硬阈值算法的硬阈值操作比 SVRGHT 少，每次迭代的平均成本更低，该方法具有更快的收敛速度。

    Dec, 2019

  • 随机迭代贪婪算法在稀疏约束下的线性收敛

    本文提出了两种基于随机梯度下降方法的可能非凸稀疏约束优化问题的贪心变体算法，证明了在指定容差范围内的期望收敛线性到解决方案。这种普适的框架适用于诸如压缩感知中的稀疏信号恢复、低秩矩阵恢复和协方差矩阵估计等问题，提供具有可证明的收敛保证的方法，通常优于其确定性对应物。我们还分析了仅能近似计算梯度和投影的情况，并证明了这些方法对这些近似是鲁棒的。我们包括许多数字实验，这些实验与理论分析相一致，并在多个不同的设置中展示这些改进。

    Jul, 2014

  • 凸优化中的贪心逼近

    研究稀疏近似解决凸优化问题，基于非线性逼近理论中的贪婪逼近技术，可解决给定元素的稀疏逼近和能量函数最小化的稀疏解决方案，适用于工程应用中的优化问题。

    Jun, 2012

  • 随机迭代硬阈值法用于基于图的稀疏优化

    本文介绍了一种基于随机梯度下降法的方法，用于解决图结构稀疏约束问题，并证明该算法具有与批量学习设置中相当竞争的线性收敛率。

    May, 2019

  • 稀疏惩罚优化

    本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术，包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时，我们提供了一组广泛的实验来比较各种算法在计算方面的差异。

    Aug, 2011

  • 稀疏受限非线性优化：最优性条件和算法

    本文研究了在稀疏约束下最小化一般连续可微函数的问题，并根据不同的最优性标准提出了三个数值算法：迭代硬阈值法、贪心算法和部分稀疏单纯形法来找到满足最优性标准的点，并分析了这些方法的理论收敛性和与导出的最优性条件的关系。

    Mar, 2012

  • 带稀疏约束的秩 - 一矩阵逼近的条件梯度算法

    介绍一种称为 ConGradU 的算法框架，该框架以强度不同的方法导出的看似不同的算法相结合，通过基于旧的条件梯度算法建立一个简化版本，得到一个具有通用性的算法，具有解析公式或需要非常低的计算复杂度的特点。

    Jul, 2011

  • 过度参数化梯度下降对度量的稀疏优化

    使用重点理论工具，在 Wasserstein 空间中进行局部收敛分析和扰动镜像下降分析，通过将度量离散化并运行非凸梯度下降来解决衡量函数的稀疏性惩罚问题，实现全局优化算法，其复杂度与凸多项式相比在所期望的精度下具有 log（1/ε） 的比例关系

    Jul, 2019

  • 稀疏高斯过程回归的有效优化

    我们提出了一种高效的优化算法，用于选择训练数据的子集以在高斯过程回归中引入稀疏性。该算法使用单个目标（边际似然或变分自由能）估计引入集合和超参数。其空间和时间复杂度与训练集大小呈线性关系，可以应用于离散或连续域上的大型回归问题。实证评估显示出在离散情况下的最新性能和连续情况下的竞争结果。

    Oct, 2013

  • 截断梯度稀疏在线学习

    这篇论文提出了一种新方法，称为截断梯度 (truncated gradient)，可以在凸损失函数的在线学习算法中诱导稀疏性，该方法具有连续控制稀疏化程度的参数，类似于 $L_1$ 正则化方法，理论上可以证明小的稀疏化率仅会导致额外的小代价，并且在实践中取得了良好的效果。

    Jun, 2008