Mar, 2017

双重迭代硬阈值：从非凸稀疏最小化到非平滑凹面极大化

PDF
TL;DR本文提出了一个双重 IHT 算法来优化基于稀疏性的极小化模型，并建立了一个用于正则化的损失函数的稀疏对偶理论，这为我们提供了一组足够和必要的条件来在对偶公式中等价地解决原始的 NP-hard / 非凸问题。数值结果证明了双重 IHT 算法在模型估计准确性和计算效率方面优于现有的主 IHT 样式算法。
iterative hard thresholdingsparsity-constrained minimizationduality theorysuper-gradient methodstochastic optimization
发现论文，激发创造
  • 高维 M - 估计的迭代硬阈值方法

    本文介绍了在高维环境下，使用 M-estimators 在广义线性回归模型中需要风险最小化，并提出了第一个 IHT 样式算法在高维统计学中的分析框架，这对于稀疏回归和低秩矩阵恢复等问题具有实际应用价值。

    Oct, 2014

  • 稀疏约束优化的梯度硬阈值追踪

    本文针对稀疏受限凸优化问题，将 Hard Thresholding Pursuit 方法从压缩感知推广，证明了该方法在收敛速度和参数估计准确性方面具有类似于 HTP 的强大保证，并在稀疏逻辑回归和稀疏精度矩阵估计任务中的数值实验证明了其优越性。

    Nov, 2013

  • 使用 IHT 学习稀疏神经网络

    本文旨在通过提供收敛所需的全部条件的理论证明，研究在神经网络训练领域中，这种收敛的理论先决条件是否适用。然后，通过在单层神经网络上使用 IRIS 数据集进行实验验证这些条件。

    Apr, 2024

  • 自适应正则化硬阈值稀疏凸优化

    本文提出了适应性正则化硬阈值算法（ARHT）和置换正交匹配追踪算法（OMPR）用于优化一个凸函数的目标，同时在稀疏约束下，使用受限制条件数来分析各种算法的稀疏性保证，进一步研究了基于约束等距性的压缩感知。

    Jun, 2020

  • 迭代硬阈值稳健的 1 位压缩感知

    研究了在有噪声的情况下通过最小数量的线性测量以及量化后的符号来估计稀疏单位向量，证明了 Binary Iterative Hard Thresholding 算法在这种情况下提供了比所有已知方法更好的结果，实现了迭代硬阈值法在存在测量误差下的稳定性。

    Oct, 2023

  • 随机迭代硬阈值法用于基于图的稀疏优化

    本文介绍了一种基于随机梯度下降法的方法，用于解决图结构稀疏约束问题，并证明该算法具有与批量学习设置中相当竞争的线性收敛率。

    May, 2019

  • 量化迭代硬阈值：连接 1 位和高分辨率量化压缩感知

    本文研究探讨了将稀疏信号从量化压缩测量中重构出来的方法，该方法不论量化分辨率从 1 比特到高分辨率都适用，并通过广义化迭代硬阈值（IHT）算法及其二进制变体（BIHT）来实现，能较好地保持重构信号在量化模型相一致。同时，通过与其他方法（如 IHT，基 Pursuit Denoise）在几种量化场景下的比较，评估了该算法（简称 QIHT）的性能。

    May, 2013

  • 一种用于非凸正则化优化问题的普适性迭代收缩与阈值算法

    本文提出了一种新的 GIST 算法来解决大类非凸惩罚的非凸优化问题，该算法通过迭代解决近端算子问题，并在每个外部迭代中使用 Barzilai-Borwein（BB）法来查找适当的步长，同时给出了详细的收敛分析。

    Mar, 2013

  • 使用迭代硬阈值方法训练瘦身的深层神经网络

    本研究提出了一种迭代硬阈值（IHT）方法用于训练 “瘦” 深度神经网络（SDNN），该方法可以通过两个阶段的交替训练操作，即丢弃小激活连接并微调其他重要权重，然后重新激活被丢弃的连接以提高模型疏密性。该方法的优越性通过使用 CIFAR-10，CIFAR-100，MNIST 和 ImageNet 四种基准数据集的实验结果得到了验证。

    Jul, 2016

  • 关于非可分罚项情况下迭代软阈值算法的一般化

    提出了一种显式算法，用于最小化带有不可分离 L1 项的 L1 正则化最小二乘函数。对于每个迭代步骤，该算法需要四个矩阵向量乘法和单个简单的投影，并证明了收敛性和函数的 1/N 收敛速率。同时，该算法可以处理其他基于 L1-norm 以外的凸非分离度量，方法是用简单的接近算子代替投影。

    Apr, 2011