在这篇论文中，我们通过核方法的视角研究了两层神经网络在均场极限下的特征学习能力。我们利用两个时间尺度的极限来聚焦于第一层产生的核动态，从而将学习问题转化为对内在核的最小化问题。我们还展示了均场 Langevin 动力学的全局收敛性，并推导了时间和粒子离散化误差。此外，我们证明了两层神经网络可以比任何核方法更高效地学习多个再现核希尔伯特空间的并集，并且神经网络可以获得与目标函数对齐的数据相关核。我们还开发了一种标签噪声过程，该过程收敛到全局最优解，并展示了自由度作为一种隐式正则化现象。

Mar, 2024

在某种随机梯度下降初始化的情况下，神经网络可被再现核希尔伯特空间方法良好逼近用于某些分类任务。在特殊情况下，通过学习最佳低维表示，神经网络可胜过再现核希尔伯特空间方法，证明了神经网络比再现核希尔伯特空间方法更适合维度严重受限的特殊分类任务。

Jun, 2020

高维重叠高斯混合模型 (GMM) 数据的二元分类的贝叶斯最优决策边界的闭合表达式会根据类协方差的特征结构而变化。通过对由真实数据启发的合成 GMM 数据进行的实验，我们从经验上证明了深度神经网络在分类训练中学习预测器可以近似得到最优分类器。我们进一步拓展了对真实数据训练的网络的研究，观察到决策阈值与协方差的特征向量相关而不是特征值，从而反映了我们 GMM 分析的结果。这为神经网络从错综复杂的分布中执行概率推断和提取统计模式的能力提供了理论洞见。

May, 2024

研究表明深度学习和浅层核方法在过拟合问题上表现相似，而不是泛化性能高的唯一因素，因此需要更深入地研究浅层核方法，以更好地理解深度学习。

Feb, 2018

通过对深度无限神经网络进行研究和分析，本文证明了深度无限层网络自然地与高斯过程和核方法相一致，并设计了编码这些网络信息的随机核函数。同时，本文还在不同规模下证明了稳定性结果，从而解释了这些网络在实践应用中具有的经验性成功。

Aug, 2015

通过基于随机投影导出的特征近似核函数，提出了有效地克服核方法计算复杂度的方法，并在图像识别和语音识别等大规模学习问题上成功地比较了核方法和深度神经网络的性能，同时克服了模型调节的困难。

Nov, 2014

神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词，论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构，它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核，同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。

Apr, 2024

通过使用概率神经网络学习概率嵌入深核，我们可以解决高维数据的表示学习和数据效率之间的问题， 实验结果表明，我们的方法在监督和半监督学习中均优于现有的高斯过程核方法，并且扩展到其他小数据范例，在 mini-Imagenet 和 CUB 数据集上胜过先前的方法。

Oct, 2019

该论文通过对神经网络和它们的线性近似在不同任务上的行为进行系统比较，提供了强有力的实证证据来确定近似的实际有效性，发现网络并不总是表现优于其核近似，并揭示了性能差距很大程度上取决于网络架构、数据集大小和训练任务。此外，研究发现网络在训练过程中出现过拟合的原因是其核的演化。由此揭示了一种新的隐式偏差现象。

Jun, 2021

本文介绍了如何将图神经网络中的归纳偏置引入高斯过程中，以优化其在图结构数据上的预测表现，并得出了一些有趣的成员和提出了一种适用于大规模数据后验推断的协方差矩阵的近似方法，通过这些基于图的协方差矩阵，与相应的图神经网络相比，具有相似的分类和回归性能以及计算时间上的优势。

Feb, 2023