Jul, 2020

拉普拉斯核与神经势核之间的相似性

PDF
TL;DR该论文阐述了大规模超参数神经网络等效于使用神经切核（NTK）的核回归器；将 NTK 与完全连接网络的标准拉普拉斯核相比较，理论和实验证明两个核具有相同的特性和功效，因此在神经网络的分析中将标准拉普拉斯核作为一个简单的表达式有很多作用。
neural networkskernel methodsntklaplace kernelsmoothness properties
发现论文，激发创造
  • 深度神经切向核和拉普拉斯核具有相同的 RKHS

    本文探讨了深度神经切向核和拉普拉斯核的再生核希尔伯特空间包含相同的函数的问题，以及限制在球面上的指数幂核和定义在整个 $R^d$ 上的指数幂核对 RKHS 的影响问题。

    Sep, 2020

  • 神经正切核：神经网络的收敛性和泛化性

    本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

    Jun, 2018

  • 神经切向核方法的神经网络修正

    使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

    Jul, 2020

  • 神经频谱对齐：实证研究

    本文通过对神经网络优化过程中的经验性探索，发现神经切向核（NTK）在实际应用中会随着优化而发生重要的和有意义的变化，尤其是它的前几个特征向量会朝向神经网络所学习的目标函数，并成为神经网络输出的基础函数

    Oct, 2019

  • 通过草图和随机特征扩展神经切向核规模

    该研究提出了一种近似算法，旨在加速使用神经切向核的大规模学习任务，并结合随机特征，通过谱逼近保证精度。实验结果表明，其线性回归器可在 CIFAR-10 数据集上达到与全精度模型相当的准确度，同时提高了 150 倍的速度。

    Jun, 2021

  • 解决图神经切向核是否等同于训练图神经网络？

    NTK 是理论深度学习领域的一个新兴趋势，通过 Neural Tangent Kernel（NTK）理解深度学习的工作原理。本文中，我们提供了三个新的理论结果，首先正式证明了基于图的回归问题中 GNTK 与无限宽度的多层图神经网络通过梯度下降训练是等效的；其次，我们提供了首个用于节点级回归问题的 GNTK 形式；最后，我们证明了在节点级回归问题中 GNTK 的等效性。

    Sep, 2023

  • 循环神经切向核

    本文介绍并研究了循环神经切线核（RNTK）的性能，证明其能够比其他内核提供更好的性能表现，尤其在处理不同长度输入的情况下表现良好。

    Jun, 2020

  • 神经切向核，传输映射以及万能逼近

    本文通过从初始权重和其期望值之间的传输映射中进行采样，以及通过傅立叶变换构建传输映射，建立了浅层神经切向核（NTK）的普适逼近率。

    Oct, 2019

  • 线性化神经网络在泛化方面的实际表现

    该论文通过对神经网络和它们的线性近似在不同任务上的行为进行系统比较，提供了强有力的实证证据来确定近似的实际有效性，发现网络并不总是表现优于其核近似，并揭示了性能差距很大程度上取决于网络架构、数据集大小和训练任务。此外，研究发现网络在训练过程中出现过拟合的原因是其核的演化。由此揭示了一种新的隐式偏差现象。

    Jun, 2021

  • 深度神经网络和神经切向等级的动态

    本文研究了有限宽度的深度全连接神经网络中神经切向核的动态，并推导出一个无穷层次的普通微分方程组，它捕捉了深层神经网络的梯度下降动态。此外，在条件限制下，研究证明了 NTH 的截断层次近似于 NTK 的动态。这些描述使直接研究深度神经网络的 NTK 的变化成为可能，同时也揭示了深度神经网络胜过相应极限 NTK 的内在原因。

    Sep, 2019