自动化谱核学习
本文提出了一族可行核函数,这些函数在有界正半定函数族中密集,通过该族函数可以准确地近似任何有界核函数,我们首先讨论了平稳核函数的情况,并提出了一族谱核函数,扩展了现有方法,如谱混合核和稀疏频谱核,进而我们推广了方法并提出了一族灵活、可行的谱核函数,证明其能够近似任何连续有界非平稳核。
Jun, 2015
提出了用于高斯过程回归的非平稳谱核,其谱密度由输入依赖高斯过程频率密度表面的混合物建模,实现了能够学习输入依赖和潜在长程非单调协方差(inputs-dependent and potentially long-range, non-monotonic covariances)的一族非平稳和非单调核函数,并借助模型白化和边缘概率等方法推导出有效的推理方法,证明这些核函数在建模具有非平稳特征的时间序列、图像或地理空间数据时是必要的。
May, 2017
研究关于核方法泛化误差的精确估计,探讨核函数和神经网络之间的相似性,并引入一族特定的光谱算法,通过学习特征来推导出这种估计,从而给出了高维高斯和低维平移不变模型下的全面损失渐近表达,以及对于噪声观测的损失局部化和非光谱问题具有普适性的猜想。
Mar, 2024
通过高斯过程和统计物理学的理论方法,我们得到了内核回归广义性能的分析表达式,这些表达式是关于训练样本数量的函数。我们的结果适用于具有广泛神经网络的情况,这是由于训练它们和使用神经切向核 (NTK) 的核回归之间的等效性。通过计算核的不同谱成分对总体泛化误差的分解,我们确定了一个新的谱原理:随着训练集大小的增长,核机和神经网络逐渐适应目标功能的更高频谱模式。当数据从高维超球面上的均匀分布中采样时,点积核,包括 NTK,显示出学习阶段,其中学习不同频率模式的目标函数。通过对合成数据和 MNIST 数据集的模拟,我们验证了我们的理论。
Feb, 2020
介绍了可伸缩的深度核,将深度学习架构的结构属性与核方法的非参数灵活性相结合,通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换,使用这些闭式核可以用作标准核的替代品,在表达能力和可伸缩性方面具有优势,通常情况下,学习和推断代价为 $ O (n)$,而预测代价为每个测试点的 $O (1)$。
Nov, 2015
本文旨在通过深度神经网络隐式生成模型来学习核函数谱分布,从而提高数据驱动的方法用于生成式对抗网络和监督学习等多种应用,通过 IKL 的应用,本文成功地在图像和文本生成测试中优于传统核函数,同时在有效取得超越现有先进核学习算法的成果
Feb, 2019
机器学习中一个核心主题是从稀疏和嘈杂的数据中进行函数估计。本文研究了内核岭回归,并推导了在非平稳分布下的收敛条件,同时解决了可能无限次发生的随机调适情况,包括重要的探索 - 开发问题。
Oct, 2023
利用高度理想化的数据测度所关联的特征值和特征函数,可以限制与现实数据上可学性相关的理论下界。作为示例,我们给出了与自然语言处理中的泛化变换器相关的核的复制头样本复杂性的理论下界。
Jun, 2024
本文介绍了一种基于傅里叶特征表示和深度学习方法的高斯过程模型,可以学习任意复杂度的非平稳协方差核直接从数据中,而不会过拟合,并且可以应用于时间序列和遥感等领域。
Nov, 2017
随机特征逼近是加速大规模算法中核方法的最流行技术之一,并提供了对深度神经网络分析的理论方法。我们分析了与随机特征相结合的一大类谱正则化方法的泛化性质,包括梯度下降等具有隐式正则化的核方法或 Tikhonov 正则化等明确方法。对于我们的估计器,我们在适当的源条件下定义的规则性类别(甚至包括不在再生核希尔伯特空间中的类别)上获得了最佳学习速率。这改进或完善了先前在特定核算法相关设置中获得的结果。
Aug, 2023