带潜变量的套索:高效估计、协变量缩放和计算统计差距
该文介绍了如何使用 lasso 算法来进行高维稀疏图的协方差无关估计,实现了变量选择,并控制了图中误连接不同的连通分量的概率,最终实现了稀疏图的一致性估计。
Aug, 2006
本文研究高维统计中的稀疏线性回归问题,特别关注相关随机设计条件下的 Lasso 算法以及基于特征适应的算法,提供了可以自适应处理少量近似相关性的 Lasso 算法优化及多项式复杂度的改进,以实现在常数稀疏度和任意协方差 Σ 情况下的最优样本复杂度。
May, 2023
利用基于规范相关的层次聚类算法,针对强相关的高维线性模型提出了一种首先聚类变量然后进行稀疏估计的方法,其中对聚类代表采用 Lasso 算法或结构基于聚类的组 Lasso 算法进行后续稀疏估计,并给出理论分析和实验证明了该方法的优越性。
Sep, 2012
本文介绍了一种基于稀疏回归的平衡迭代算法,通过估计噪声水平和比例调整惩罚项来求解回归系数,并证明了该方法可以同时获得噪声水平估计和回归系数估计,满足预测性和一些 Oracle 不等式条件。
Apr, 2011
本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质,特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现,包括一些适用于固定设计的条件以及一些收敛性的结果。最后,文章通过天体物理学中相邻频率的检测问题进行了结果论证。
Jun, 2008
本文通过对多元线性回归的研究,提出了一种简单的相关度量方法,将其结合到 Lasso 模型的参数调整中,从而使得在高度相关的协变量情况下,Lasso 模型的预测性能接近最优,但在中度相关的情况下,无论调整参数如何,预测性能都会比较平庸。此外,本文研究结果也为带有总变差惩罚项的最小二乘估计提供了近似最优的速率。
Feb, 2014
本文研究了 Lasso 等凸估计量的性能,介绍了两个量,噪声障碍和大规模偏差,并证明了兼容性条件是实现快速预测速率所必需的。同时,该研究还发现了适用于跨越许多类型的设计矩阵、活跃子集和任何调优参数的损失公式,包括凸惩罚项等等,并展示了调优参数与 Lasso 的相互关系。
Apr, 2018
本文针对相关设计变量的稀疏 Riesz 条件,研究 LASSO 在模型选择中的速率一致性,并且发现在某些随机相关设计中变量的数量对样本数据量的对数可达到同一阶数。
Aug, 2008
通过研究计算复杂性理论,发现在满足一定限制的协方差集中条件下存在有效的样本大小范围,在此范围内无法有随机多项式时间算法达到最佳极小风险率;对著名的半定松弛估计方法的理论性能进行研究,揭示了统计效率和计算效率之间微妙的相互作用,此方法为多维数据稀疏主成分分析提供了一种解决方案。
Aug, 2014