- 所有随机特征表示等效
根据我们导出的最优取样策略,我们证明了在这一策略下,所有的随机特征表示具有相同的逼近误差,从而建立了一个适用于所有随机特征表示的下界,这意味着我们可以根据需求自由选择任何表示方式。
- 控制仿射系统的随机特征近似
现代数据驱动控制应用需要灵活的非线性模型,以便于合理的控制器合成和实时反馈。我们提出了两个新颖的非线性特征表示类,可以捕捉控制仿射结构,同时允许在状态依赖上具有任意复杂性。我们的方法利用了随机特征(RF)逼近,以较低的计算成本继承了核方法的 - 正交随机特征:显式形式和尖锐不等式
通过正交随机特征来近似普遍的高斯核,本研究分析了基于正交随机特征的核逼近的偏差和方差,并通过使用归一化贝塞尔函数推导出了明确的表达式,并提供了支持正交随机特征比随机傅里叶特征更具信息性的尖锐指数界限。
- 基于 Tanimoto 随机特征的可扩展分子机器学习
本文提出了两种新型随机特征的方法,使得 Tanimoto 系数可以适用于大型数据集,并发现了内核的新扩展,实验表明这些内核适用于分子属性预测和优化任务。
- AAAI解密随机初始化网络以评估生成模型
通过在随机网络和训练网络的特征空间中进行比较,我们发现随机网络的特征可以作为评估生成模型的一种代替,而且两种类型的特征可互补使用。
- 厨师的随机桌子:非三角随机特征
提出了用于逼近 Gauss 核和 softmax 核的新型非三角随机特征 —— 厨师随机表 (CRTs)。CRT 是标准随机厨房水槽 (RKS) 方法的替代品。通过使用正随机特征 (RFs),CRT 可以获得更少的方差和更小的尾部。此外, - 特征学习的高维渐近性:一个梯度步骤如何改善表示
研究两层神经网络中第一梯度下降步骤,证明第一梯度更新中存在一个秩为 1 的 “峰值”,可以使第一层权重与教师模型的线性部分对其,并探索学习率对特征的影响,得出即使一步梯度下降也能带来显著优势的结论。
- IJCAI随机特征无 Ridge 回归
本文研究了具有随机特征和随机梯度下降的无脊椎回归的统计属性,探索了随机梯度和随机特征中因素的影响,特别是随机特征误差呈现双峰曲线。在理论结果的启发下,我们提出了一种可调节的核算法,优化核的谱密度。本研究架起了插值理论和实际算法之间的桥梁。
- ICLR使用随机矩阵减少机器学习的计算量:无性能损失的三元随机特征
研究一种称为 Ternary Random Feature 的新型随机特征,在储存和计算效率方面比传统的随机傅里叶特征更优,同时在实验中表现优越,可以用在压缩 / 量化方法中。
- 连续反向传播:带有持续随机性的随机梯度下降
在神经网络的反向传播算法中,初始随机权重对于其整个训练过程至关重要,但在不断学习的设置下,其学习性能会逐渐下降,为了解决这个问题,提出了一种名为 Continual Backprop 的新算法,通过连续注入随机特征,它在有监督和增强学习问题 - 随机特征和核方法的泛化误差:超收缩和核矩阵集中
研究了在高维情况下,使用随机特征与岭回归相结合的方法在特征空间中实现核 Ridge 回归的近似,证明了欠拟合比过拟合更容易避免,展示了在满足特定谱条件和某些特征向量的超收缩性假设的情况下,所得到的错误随着自由参数的增加呈幂律下降的规律。
- 高维随机特征学习的普适性定律
证明随机特征学习的一般性定理,表明具有非线性激活函数的随机特征模型在训练和泛化误差方面渐近等效于匹配协方差矩阵的线性高斯模型,其方法基于经典的 Lindeberg 方法,证明的主要内容包括针对与训练过程相关的优化问题的 leave-one- - 纵向分区数据的联邦双随机核学习
本论文提出了一种名为 FDSKL 的算法,该算法使用随机特征来近似内核映射函数并使用双随机梯度更新解决方案,旨在高效地学习垂直分割的数据而保持数据安全和隐私。实验结果表明,该算法在处理内核时比现有的联合学习方法更快,并保留了类似的泛化性能。
- 核逼近的随机特征:算法、理论及其它
本篇论文系统地回顾了过去十年中随机特征方面的研究进展,包括算法特点、理论结果、基准测试数据集上的表现、分类预测性能等,并探讨了随机特征与深度神经网络之间的关系,有望成为感兴趣的从业者应用代表性算法和理解理论结果的用户指南,并为这个领域的未来 - ICLR关于 CNN 中随机特征的表现力 —— 训练 BatchNorm 和仅 BatchNorm
本文揭示 BatchNorm 的固有特性,即通过学习仿射变换参数达到卓越的性能,结果表明这种方式可以实现神经网络中的显著表现。
- 随机特征增强图神经网络
本文研究了图神经网络的表达能力,发现其存在局限性。作者提出为每个节点添加随机特征,这样 GNN 就能够学习一些最优多项式时间近似算法,同时该方法方便与其他 GNN 模型结合使用。经实验证明,加入随机特征的 GNN 能够解决一些无法被传统的 - 利用光学处理单元获得的大规模随机特征进行的核计算
本文研究了利用 Optical Processing Unit 对大规模的 RF 进行快速且高能效的运算,得出此操作结果可以得到与多项式核函数相关的点积核,同时在核岭回归和图像分类中获得了优异的表现。
- 二层神经网络懒惰训练的局限性
在两种模型下,我们使用二层神经网络带有二次激活函数进行监督学习,证明了当神经元数量小于特征向量维度时,在随机特征和神经切线等三种不同的学习方案中,性能存在无限制的差距。当神经元数量大于特征向量维度时,这个问题变得容易,神经切线和完全训练的神 - 随机特征在理解神经网络中的能力和局限
本文回顾了最近一系列训练超参数神经网络和学习随机特征的实证结果及其限制性说明,论述了神经网络的理论困境并对其表现出的令人印象深刻的经验结果提出了仍需克服的挑战。
- 从经验杠杆得分中采样随机特征:实现和理论保证
本文通过实证杠杆得分的方式,研究在随机特征的领域中,在核逼近和数据分布之间的权衡,提出一种算法可以有效地减少所需的特征数量,且不需要使用输出信息。实验结果表明,与普通的蒙特卡罗采样相比,该算法始终表现出优势,并且在进行了轻微的修改后,该算法