紧凑型随机特征映射
通过基于 Monte Carlo 近似的、通过积分表示核函数并扩展到更好的核近似估计的数值积分技术,我们提出了一个统一的方法来改进核逼近的随机特征方法,并得出了其收敛行为,并进行了大量实证研究,支持了我们的假设。
Feb, 2018
本文介绍了核方法在机器学习问题中的应用,提到了采用随机傅里叶特征解决大规模数据集问题的方法,并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用,同时指出了该特征的两种变体中,更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。
Jun, 2015
使用高斯积分逼近核函数的频域,可以构建确定性特征图来替代随机傅里叶特征映射,其采样量是以指数形式来考虑的,适用于稀疏 ANOVA 核函数,具有生成速度快和较高精度的特点。
Sep, 2017
提出一种方案,通过随机嵌入将高斯随机向量回收到结构化矩阵中,以实现对各种核函数的近似,该方案可在亚线性时间内完成。其中包括 Fastfood 构造作为特例,还可扩展到周而复始、托普利兹和汉克尔矩阵以及广泛的结构化矩阵家族,该矩阵家族的特征在于低位移秩的概念。介绍了控制逼近质量的相干性和图论结构常数的概念,并证明了在我们的框架内出现的随机特征映射的无偏性和低方差性质。对于低位移矩阵的情况,我们展示了如何控制结构和随机性的程度,以降低统计方差的代价,但需要增加计算和存储要求。实证结果强烈支持我们的理论,并证明了使用随机特征来扩展核方法的可行性。
May, 2016
本文研究了随机特征逼近在核主成分分析中的应用,通过比较计算效率和统计效率,分析了逼近 KPCA 的计算和统计性能优于 KPCA,研究依赖于自伴随 Hilbert-Schmidt 算子值 U 统计量的算子和 Hilbert-Schmidt 范数的 Bernstein 型不等式。
Jun, 2017
通过特征映射来逼近非线性内核,在减少支持向量机分类器和其他内核学习算法的训练和测试时间的应用方面引起了人们的广泛兴趣。本文基于调和分析的经典结果,提出了点积内核的低扭曲嵌入到线性欧几里得空间中,并使用该结果定义随机特征映射到显式低维欧几里得空间,在其中本地点积提供对点积内核的逼近,自信度很高。
Jan, 2012
提出了一种名为 RFAD 的基于随机特征近似的数据集蒸馏算法,该算法能够在维持较高准确性的同时,大幅加速了现有的数据集压缩算法,能够应用于大规模数据集上,并适用于如模型解释和隐私保护等任务。
Oct, 2022
本文运用随机矩阵理论诱导的 “浓度” 现象对这些随机特征图 Gram 矩阵的谱分析,为更深入地理解非线性和数据统计学的相互作用提供了基础,从而实现了更好的随机特征技术调优。
May, 2018
本文提出一种基于 Fourier 分析的方法,用于训练翻译不变或旋转不变的核,并通过一种在线平衡找到动态算法来解释我们的算法,并在合成和现实世界数据集上进行评估,证明了扩展性和与相关随机特征方法相比的一致改进。
Oct, 2017