Jun, 2024

线性对角网络的加权最小二乘算法的精确渐近性

PDF
TL;DR在这项工作中，我们对一类算法进行了统一的渐近性分析，其中包括了经典的迭代重新加权最小二乘（IRLS）算法、最近提出的用于线性神经网络的 lin-RFM 算法和线性对角神经网络上的交替最小化算法。我们的分析在一个 “批处理” 情境中进行，使用 i.i.d. 高斯协变量，并表明在适当选择重新加权策略的情况下，算法只需少数几次迭代就能取得良好的性能。我们还将我们的结果推广到了群稀疏恢复的情况，并证明利用这种结构在重新加权方案中比坐标加权明显改善了测试误差。
iteratively reweighted least-squaressparse recoverylinear neural network architecturesfeature learninggroup-sparse recovery
发现论文，激发创造
  • 迭代重新加权最小二乘法用于稀疏恢复

    本文研究使用迭代加权最小二乘算法（IRLS）促进稀疏和可压缩向量恢复中的 l1 最小化，证明其收敛性和估计局部速率，并且展示了如何修改算法，以便在 t 小于 1 时促进 lt 最小化，并且这种修改有着超线性的收敛速率。

    Jul, 2008

  • 迭代加权最小二乘法平滑低秩和稀疏矩阵恢复

    本文提出了一个解决低秩和 / 或稀疏矩阵最小化问题的一般框架，使用迭代重新加权最小二乘（IRLS）方法来解决混合低秩和稀疏最小化问题，例如用于解决 Schatten-p 规范和 ell_2,q-norm 规范的低秩表示问题，理论证明了所获得的解为静止点，并在合成和实际数据集上进行了广泛的实验以证明其有效性。

    Jan, 2014

  • 全局收敛的加权最小二乘迭代重加权算法解决稳健回归问题

    该研究提出了对 IRLS 鲁棒回归问题的全球模型恢复结果，建议加强基本 IRLS 例程，提供全球恢复的保证，可更好地抵御基本回归任务和应用任务的超参数错误，使用加权强凸和平稳性的新概念来理论分析。

    Jun, 2020

  • 通过迭代加权最小二乘法实现图像恢复的稀疏和低秩先验学习

    提出了一种基于学习的稀疏和低秩约束的图像恢复新优化算法，并将其和现有算法进行了比较和评估。

    Apr, 2023

  • 迭代重新加权最小二乘方法的共轭梯度加速

    该研究通过探讨压缩感知和稀疏恢复问题等特定领域中的迭代算法，证明了使用共轭梯度法来解决二次优化问题可以在保证收敛的同时显著提高其复杂度，并发现 IRLS 方法在大维度情况下可以优于 IHT 和 FISTA 等一阶方法，并且在所需测量 fewer 的情况下仍可以恢复稀疏向量。

    Sep, 2015

  • 迭代重新加权最小二乘网络：求解反向成像问题的收敛保证

    该研究提出了一种新颖的优化策略，用于分析图像正则化下的图像重建任务，推动在一些学习转换域中稀疏和 / 或低秩解，并通过学习网络实现了较高性能。

    Aug, 2023

  • 通过非凸迭代重新加权最小二乘法恢复同时结构化数据

    提出一种新的算法来恢复数据，该数据符合多个异构低维结构，并专注于同时为行稀疏和低秩的数据矩阵，该算法能够利用两种结构。

    Jun, 2023

  • 稀疏正则化的平滑双层编程

    通过再参数化和双层解析度的相结合，我们提出了一种新的通过线性系统解决 Lasso 问题的方法，可以适用于各种疏松规则和设计矩阵，我们通过数值实验表明了该方法的高效性和鲁棒性。

    Jun, 2021

  • 迭代重新加权偏最小二乘调和平均用于低秩矩阵恢复

    本文提出了谐波均值迭代加权最小二乘（HM-IRLS）算法，应用于从不完整的线性观测中恢复秩为 r 的矩阵 X，通过一系列低复杂度的线性问题求解，以优化非凸的 Schatten-p 准范罚项，以提高低秩性。HM-IRLS 算法具有三个主要优势，尤其是在矩阵完成设置中：第一，算法自变量对于相关感兴趣的情况下以低秩矩阵呈现出显着的全局收敛性；第二，即使线性观察值的数量非常接近理论下界 r（d1+d2-r），HM-IRLS 表现出接近 1 的经验恢复概率；第三，如果线性观察满足适合的零空间属性，则 HM-IRLS 表现出局部超线性收敛速度（2-p）的优势。

    Mar, 2017

  • 通过迭代重新加权最小二乘法恢复低秩矩阵

    使用迭代重加权最小二乘算法，同时结合核范数和近似低秩解的最小化，有效地从少量线性测量中恢复矩阵，并通过实验证明在矩阵完成问题中具有竞争力。

    Oct, 2010