本篇论文系统地回顾了过去十年中随机特征方面的研究进展,包括算法特点、理论结果、基准测试数据集上的表现、分类预测性能等,并探讨了随机特征与深度神经网络之间的关系,有望成为感兴趣的从业者应用代表性算法和理解理论结果的用户指南,并为这个领域的未来研究方向提供一些启示。
Apr, 2020
本文介绍了核方法在机器学习问题中的应用,提到了采用随机傅里叶特征解决大规模数据集问题的方法,并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用,同时指出了该特征的两种变体中,更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。
Jun, 2015
通过正交随机特征来近似普遍的高斯核,本研究分析了基于正交随机特征的核逼近的偏差和方差,并通过使用归一化贝塞尔函数推导出了明确的表达式,并提供了支持正交随机特征比随机傅里叶特征更具信息性的尖锐指数界限。
Oct, 2023
通过一个特定的分解,我们将用于计算积分的基于核的求积法则视为正定核的随机特征扩展的一种特例。我们提供了理论分析,给出了给定逼近误差所需样本数的上下界,特别地,我们展示了上界可以从一种特定的非一致分布中独立同分布地获得,而下界对于任何一组点都是有效的。
Feb, 2015
本文通过理论分析,详细研究了随机傅里叶特征(RFF)在逼近质量方面的表现,并提出了一种 RFF 逼近核的导数的方法。
随机特征逼近是加速大规模算法中核方法的最流行技术之一,并提供了对深度神经网络分析的理论方法。我们分析了与随机特征相结合的一大类谱正则化方法的泛化性质,包括梯度下降等具有隐式正则化的核方法或 Tikhonov 正则化等明确方法。对于我们的估计器,我们在适当的源条件下定义的规则性类别(甚至包括不在再生核希尔伯特空间中的类别)上获得了最佳学习速率。这改进或完善了先前在特定核算法相关设置中获得的结果。
Aug, 2023
本文提出一种基于 Fourier 分析的方法,用于训练翻译不变或旋转不变的核,并通过一种在线平衡找到动态算法来解释我们的算法,并在合成和现实世界数据集上进行评估,证明了扩展性和与相关随机特征方法相比的一致改进。
Oct, 2017
使用随机傅里叶转换对核方法的学习过程进行风险分析,同时提出使用 Ridge 杠杆得分进行特征筛选的随机傅里叶转换方法,可大大降低计算成本。
Jun, 2018
通过基于 Monte Carlo 近似的、通过积分表示核函数并扩展到更好的核近似估计的数值积分技术,我们提出了一个统一的方法来改进核逼近的随机特征方法,并得出了其收敛行为,并进行了大量实证研究,支持了我们的假设。
Feb, 2018
研究了在高维情况下,使用随机特征与岭回归相结合的方法在特征空间中实现核 Ridge 回归的近似,证明了欠拟合比过拟合更容易避免,展示了在满足特定谱条件和某些特征向量的超收缩性假设的情况下,所得到的错误随着自由参数的增加呈幂律下降的规律。
Jan, 2021