本文提出了一种基于压缩统计学习的通用框架,通过将训练集压缩成一个捕捉到相关学习任务信息的低维矢量,进而通过非线性最小二乘问题计算出风险的近似最小值,并探讨了控制此过程的广义误差的足够描绘尺寸。该框架在压缩 PCA,压缩聚类和已知固定方差的压缩高斯混合建模问题上得到了验证。
Jun, 2017
该论文介绍了一种称为 “sketching” 的数据压缩技术,该技术通过随机投影将大型数据集压缩成较小的替代数据集,然后进行统计分析,该方法特别适用于大规模的线性回归问题。
本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型,并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差,实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。
Jul, 2011
本研究旨在通过对数据的草图进行估计,从而学习一个能够准确解释数据的稀疏图模型,采用了压缩视角和基于图形套索的迭代算法,同时研究了通过合成数据集进行性能对比的可能性。
Nov, 2023
压缩学习是一种新兴方法,通过首先将大规模数据集总结为低维度的草图向量,然后从这个草图中解码出学习所需的潜在信息,从而极大地减少大规模学习的内存占用。我们的研究旨在设计易于调优的算法(称为解码器),以稳健高效地提取这些信息,然后通过分析压缩聚类中的 CL-OMPR 算法的局限性,提出了一种改进方案,大大提高了信息提取的准确性和效率。
Dec, 2023
本文提出基于中位数均值的算法用于压缩感知中估计高维向量,具有重尾或异常值数据的鲁棒性,同时理论结果表明该算法在次高斯假设下具有与经验风险最小化相同的样本复杂度保证。
Jun, 2020
该研究提出一种基于稀疏张量分解和阈值梯度下降的二阶段非凸实现框架,可从立方挖掘中进行稀疏和低秩张量估计,在无噪音情况下确保准确恢复,在带噪音情况下高概率稳定恢复,并导出了新的高阶浓度不等式对高阶交互追求在高维线性回归中的潜在应用进行了张量表述。
Jan, 2018
在高维情况下,使用平滑分析方法可以在多项式时间内使用多项式数量的样本学习带有随机扰动参数的高斯混合模型,通过利用高斯分布的高阶矩的组合结构并推导其对称性,探索新的高斯混合物的时刻张量的分解方法以及构建结构化随机矩阵的奇异值的下界。
Mar, 2015
利用随机矩阵的谱分析最新进展,我们开发了一种新的技术,提供了随机投影矩阵的期望值的确切表达式,这些表达式可以用来表征多种常见的机器学习任务中的降维性能,包括低秩估计和迭代随机优化等。我们的结果适用于多种流行的草图方法,包括高斯和 Rademacher 草图,结果表明,我们推导出的表达式反映了这些草图方法的实际性能,甚至体现了较低阶效应和恒定因子。
使用层级张量网络方法通过经验分布来逼近高维概率密度,利用随机奇异值分解技术解决张量网络中张量核的线性方程,该算法的复杂性与高维密度的维数成线性关系,通过多项数值实验分析表明了该方法的有效性。
Apr, 2023