高维M-估计的迭代硬阈值方法
对稳健最小二乘回归(RLSR)中的扰动问题进行研究,提出了一种称为TORRENT的简单硬阈值算法,能够在存在干扰情况下恢复w*,并且能够实现大规模高维度的稀疏恢复。该方法比最先进的L1求解器快20倍以上。
Jun, 2015
通过矩阵分解和投影梯度下降算法解决约束最优化问题,提供了一种通用理论框架,当给定适当的初始化时,可以几何级数地收敛到具有统计意义的解,适用于许多具体模型。
Sep, 2015
本文研究了硬阈值算子,建立了一种紧致的理论界限,用于量化阈值处理后的信号与原始信号偏差的范围。研究结果在压缩感知和机器学习方面均具有应用,特别是在数据采集程序中允许使用更多种类的感知矩阵或更少的测量,并提出了一种随机算法来确保产生稀疏的解。
May, 2016
本文提出了一个双重IHT算法来优化基于稀疏性的极小化模型,并建立了一个用于正则化的损失函数的稀疏对偶理论,这为我们提供了一组足够和必要的条件来在对偶公式中等价地解决原始的NP-hard/非凸问题。数值结果证明了双重IHT算法在模型估计准确性和计算效率方面优于现有的主IHT样式算法。
Mar, 2017
提出了一种用于高维度稀疏回归中具有常量分数的自变量和/或响应变量的污染的算法,它是迄今为止的首个这样的算法,利用使用这种算法,我们提供了强健的稀疏回归方法和过滤算法。
May, 2018
本文提出了一种新的混合整数规划框架,结合非线性分支定界和坐标下降方法,用于计算最小二乘回归中的$l_{0}l_{2}$惩罚,证明了该框架不仅比现有方法快很多,而且可以处理一些统计性较强的示例,并提供了$L0BnB$工具箱的开源实现。
Apr, 2020
提出了一种基于稀疏多线性逻辑回归(Multilinear Sparse Logistic Regression)模型的加速近端交替线性化最小化(APALM$^+$)方法,用于解决多维数据分析中的特征选择问题,该方法在准确性和速度方面优于其他最先进方法。
Sep, 2023
稀疏线性回归(SLR)是一个在统计学中研究得很多的问题,在该问题中,给定一个设计矩阵 X 和一个响应向量 y,目标是寻找一个最小化均方预测误差的 k-稀疏向量 hat(theta),该问题在设计矩阵良好条件下可以通过 L1 松弛方法解决,本文提供了关于所有有效算法的平均情况困难性证据,并基于格问题的最差情况困难性给出了SLR的平均情况困难性证据,同时还讨论了可辨别与不可辨别的情形。
Feb, 2024
研究了高维线性回归问题中,使用迭代算法得到的迭代次数从1到T的变量,并提出了估计器来估计迭代过程中的泛化误差,并应用于提前停止等问题。通过仿真实验证明了理论结果。
Apr, 2024
本研究针对在样本大小相对较小的情况下,如何在统计建模中发现隐藏的稀疏性进行深入探讨。提出了一种新的期望目标优化方法,结合了基数约束,并证明了所提方法的收敛性。此外,该方法在两个机器学习问题上的表现也得到了验证,显示出其在大数据环境下的有效性。
Sep, 2024