迭代加权最小化方法:$l_p$ 正则化非约束非线性规划
本文提出了一个解决低秩和 / 或稀疏矩阵最小化问题的一般框架,使用迭代重新加权最小二乘(IRLS)方法来解决混合低秩和稀疏最小化问题,例如用于解决 Schatten-p 规范和 ell_2,q-norm 规范的低秩表示问题,理论证明了所获得的解为静止点,并在合成和实际数据集上进行了广泛的实验以证明其有效性。
Jan, 2014
该研究提出了一种新颖的优化策略,用于分析图像正则化下的图像重建任务,推动在一些学习转换域中稀疏和 / 或低秩解,并通过学习网络实现了较高性能。
Aug, 2023
本文研究使用迭代加权最小二乘算法(IRLS)促进稀疏和可压缩向量恢复中的 l1 最小化,证明其收敛性和估计局部速率,并且展示了如何修改算法,以便在 t 小于 1 时促进 lt 最小化,并且这种修改有着超线性的收敛速率。
Jul, 2008
我们引入了 $l_p$ 正则化函数的严格鞍点性质,并提出了一种迭代重新加权的 $l_1$ 算法来解决 $l_p$ 正则化问题。该算法只能收敛到局部极小值点,严格鞍点性质在这些稀疏优化问题中是普遍的,这些分析以及提出的算法可以轻松扩展到一般的非凸正则化问题。
Jan, 2024
本文研究非受限情况下的 $L_2$-$L_p$ 最小化问题,并展示了这个问题的各种吸引人的特性,同时表明 $L_q$-$L_p$ 最小化问题是强 NP 困难问题,但可以通过精心选择参数获得所需的稀疏性,这些结果为凸规则化优化问题的研究和应用提供了新的理论洞察。
May, 2011
该研究通过探讨压缩感知和稀疏恢复问题等特定领域中的迭代算法,证明了使用共轭梯度法来解决二次优化问题可以在保证收敛的同时显著提高其复杂度,并发现 IRLS 方法在大维度情况下可以优于 IHT 和 FISTA 等一阶方法,并且在所需测量 fewer 的情况下仍可以恢复稀疏向量。
Sep, 2015
该研究考虑了平滑函数和矩阵的 Schatten-p 范数之和的最小化问题,并提出了用于解决非凸低秩最小化问题的加速迭代重新加权核范数方法,其主要创新包括具有秩识别特性的方法和自适应更新策略,通过快速将参数驱动为零,将算法转化为能有效解决平滑问题的算法。
Jun, 2024
该研究提出了对 IRLS 鲁棒回归问题的全球模型恢复结果,建议加强基本 IRLS 例程,提供全球恢复的保证,可更好地抵御基本回归任务和应用任务的超参数错误,使用加权强凸和平稳性的新概念来理论分析。
Jun, 2020
在这项工作中,我们对一类算法进行了统一的渐近性分析,其中包括了经典的迭代重新加权最小二乘(IRLS)算法、最近提出的用于线性神经网络的 lin-RFM 算法和线性对角神经网络上的交替最小化算法。我们的分析在一个 “批处理” 情境中进行,使用 i.i.d. 高斯协变量,并表明在适当选择重新加权策略的情况下,算法只需少数几次迭代就能取得良好的性能。我们还将我们的结果推广到了群稀疏恢复的情况,并证明利用这种结构在重新加权方案中比坐标加权明显改善了测试误差。
Jun, 2024