随机特征矩压缩统计学习

MMJun, 2017

Compressive Statistical Learning with Random Feature Moments

Rémi Gribonval, Gilles Blanchard, Nicolas Keriven, Yann Traonmilin

TL;DR本文提出了一种基于压缩统计学习的通用框架，通过将训练集压缩成一个捕捉到相关学习任务信息的低维矢量，进而通过非线性最小二乘问题计算出风险的近似最小值，并探讨了控制此过程的广义误差的足够描绘尺寸。该框架在压缩 PCA，压缩聚类和已知固定方差的压缩高斯混合建模问题上得到了验证。

Abstract

We describe a general framework -- compressive statistical learning -- for resource-efficient large-scale learning: the training collection is compressed in one pass into a low-dimensional sketch (a vector of ran

compressive statistical learning resource-efficient compressive pca compressive clustering compressive gaussian mixture modeling

发现论文，激发创造

大规模混合模型学习的速写

本文提出了一种压缩学习框架，通过数据的限制集来估计模型参数，并演示了该方法在高斯混合模型和说话人验证任务中的成功应用，以及它与随机特征的近似希尔伯特空间嵌入方法之间的联系。

Jun, 2016

具有统计保证的快速随机核方法

本文章介绍了一种改进基于核方法的机器学习方法运行时间的方法，并提出了一个计算算法，该算法可以用来在不需要生成全核矩阵的情况下，对特征向量矩阵进行采样，并在统计表现和运行时间方面提供了新的保证。

Nov, 2014

利用生成模型的鲁棒压缩感知

本文提出基于中位数均值的算法用于压缩感知中估计高维向量，具有重尾或异常值数据的鲁棒性，同时理论结果表明该算法在次高斯假设下具有与经验风险最小化相同的样本复杂度保证。

Jun, 2020

稀疏精度矩阵的压缩恢复

本研究旨在通过对数据的草图进行估计，从而学习一个能够准确解释数据的稀疏图模型，采用了压缩视角和基于图形套索的迭代算法，同时研究了通过合成数据集进行性能对比的可能性。

Nov, 2023

使用随机特征的近似核主成分分析：计算与统计的权衡

本文研究了随机特征逼近在核主成分分析中的应用，通过比较计算效率和统计效率，分析了逼近 KPCA 的计算和统计性能优于 KPCA，研究依赖于自伴随 Hilbert-Schmidt 算子值 U 统计量的算子和 Hilbert-Schmidt 范数的 Bernstein 型不等式。

Jun, 2017

草图与移动：一种强健的聚类压缩解码器

压缩学习是一种新兴方法，通过首先将大规模数据集总结为低维度的草图向量，然后从这个草图中解码出学习所需的潜在信息，从而极大地减少大规模学习的内存占用。我们的研究旨在设计易于调优的算法（称为解码器），以稳健高效地提取这些信息，然后通过分析压缩聚类中的 CL-OMPR 算法的局限性，提出了一种改进方案，大大提高了信息提取的准确性和效率。

Dec, 2023

SGD 和随机特征的学习

本文研究了基于随机梯度下降与小批量和随机特征的非参数统计学习估计器，利用其定义了一种近似的核方法，并通过得出最优有限样本限制来探究其学习性质。

Jul, 2018

高斯混合模型的统计压缩感知

本研究提出了基于统计压缩感知（SCS）的压缩感知（CS）新框架，探索了基于高斯模型的 SCS，对单高斯模型下的信号进行了深入探究，并介绍了用于 GMM 型的信号模型选择、解码的分段线性估算器，提出了最大后验期望最大化算法用于 GMM 型 - SCS 的解码过程。结果表明，与传统 CS 相比，GMM 型 - SCS 在图像感知应用中具有更低的计算成本且具有更好的结果。

Jan, 2011

高维超统计特征分类

研究在高维情况下通过经验风险最小化学习具有通用质心的两个数据点云的特征，涵盖了大量的数据分布，包括高斯混合分布和幂律分布，并分析了通过正则化的作用，推导了估计器的泛化性能，并探究了分布尺度参数对可分离性转换的影响。

Apr, 2023

贝叶斯压缩回归

本文提出一种基于随机压缩预测变量的高维回归方法，并使用模型平均来减少方法对于随机投影矩阵的敏感度，可用于实际数据应用。

Mar, 2013