研究 Gram 随机矩阵模型,证明当 $n,p,T$ 同时增长时,具有相似行为与样本协方差矩阵模型,应用于单层随机神经网络的渐进性能估计,提供了对随机神经网络基础机制的实际见解,并快速调整网络超参数。
Feb, 2017
在高维统计推断中,通过分析核随机矩阵的谱,发现在某些模型情况下,非线性主成分分析的问题本质上是线性问题,这与现有的一些启发式方法不符。同时,该研究还凸显了随机矩阵理论中广泛研究的某些奇异性,并对其在实际高维数据建模工具中的相关性提出了一些问题。
Jan, 2010
随机特征逼近是加速大规模算法中核方法的最流行技术之一,并提供了对深度神经网络分析的理论方法。我们分析了与随机特征相结合的一大类谱正则化方法的泛化性质,包括梯度下降等具有隐式正则化的核方法或 Tikhonov 正则化等明确方法。对于我们的估计器,我们在适当的源条件下定义的规则性类别(甚至包括不在再生核希尔伯特空间中的类别)上获得了最佳学习速率。这改进或完善了先前在特定核算法相关设置中获得的结果。
Aug, 2023
本文回顾了随机图在其期望周围的浓缩区域中的不同模式,并讨论了这些浓缩结果在网络社区检测问题中的应用,同时介绍了一些与其相关的随机矩阵理论模型和工具。
Jan, 2018
通过正交随机特征来近似普遍的高斯核,本研究分析了基于正交随机特征的核逼近的偏差和方差,并通过使用归一化贝塞尔函数推导出了明确的表达式,并提供了支持正交随机特征比随机傅里叶特征更具信息性的尖锐指数界限。
Oct, 2023
本文介绍了核方法在机器学习问题中的应用,提到了采用随机傅里叶特征解决大规模数据集问题的方法,并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用,同时指出了该特征的两种变体中,更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。
Jun, 2015
本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法,通过研究高斯过程的光谱特征和协方差,进行了相关推导和分析,并将该算法应用于 Matern 核和高维数据的处理中,结果表明该算法在计算速度和精度方面都表现出色。
Nov, 2016
研究无穷大的观测数据中 Gram 矩阵的谱特性和其解析式,提供了谱聚类算法分析所需的理论基础,并在无线通信等领域提供了应用实例。
Oct, 2015
研究了在高维情况下,使用随机特征与岭回归相结合的方法在特征空间中实现核 Ridge 回归的近似,证明了欠拟合比过拟合更容易避免,展示了在满足特定谱条件和某些特征向量的超收缩性假设的情况下,所得到的错误随着自由参数的增加呈幂律下降的规律。
Jan, 2021
本文通过研究谱矩阵近似的角度,给出了随机傅里叶特征的数量界和核岭回归的统计保障,而从核的杠杆函数中改进傅里叶空间的分布采样可获得提高的性能与更优的采样方案。
Apr, 2018