Sep, 2022

通用激活函数的快速神经核嵌入

PDF
TL;DR本文提出了一种基于截断埃尔米特函数的方法，用于近似计算任何多层神经网络的高斯过程核（NNGP）和神经切向核（NTK）矩阵，同时克服了其他方法中数据点必须在单位球上的限制，可适用于任何 $R^d$ 空间中的点集。实验证明，相对于精确的卷积神经切向核计算，该方法在 CIFAR-10 数据集上针对具有 5 层结构的 Myrtle 网络的近似计算中实现了 106 倍的加速。
发现论文，激发创造
  • 神经切向核方法的神经网络修正

    使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

    Jul, 2020

  • 神经正切核：神经网络的收敛性和泛化性

    本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

    Jun, 2018

  • 神经网络学习的统一核心

    该论文介绍了一种名为 Unified Neural Kernel (UNK) 的方法，用于描述神经网络的学习动态以及参数初始化。通过渐进学习步骤，UNK 核的行为呈现类似于 Neural Tangent Kernel (NTK)，而随着学习步骤接近无穷大，其收敛于 Neural Network Gaussian Process (NNGP)。此外，论文还对 UNK 核的均匀紧密性和学习收敛性进行了理论表征，并通过实验证明了该方法的有效性。

    Mar, 2024

  • 通过草图和随机特征扩展神经切向核规模

    该研究提出了一种近似算法，旨在加速使用神经切向核的大规模学习任务，并结合随机特征，通过谱逼近保证精度。实验结果表明，其线性回归器可在 CIFAR-10 数据集上达到与全精度模型相当的准确度，同时提高了 150 倍的速度。

    Jun, 2021

  • 一种用于替代梯度学习的广义神经切向核

    研究了神经网络训练方法中激活函数导数不可用时的问题，提出了代理梯度学习（SGL）的理论基础，并利用神经切向核（NTK）的推广 —— 代理梯度 NTK 分析了 SGL，通过数值实验验证了 SGL 在具有有限宽度和符号激活函数的网络中的有效性。

    May, 2024

  • 神经频谱对齐：实证研究

    本文通过对神经网络优化过程中的经验性探索，发现神经切向核（NTK）在实际应用中会随着优化而发生重要的和有意义的变化，尤其是它的前几个特征向量会朝向神经网络所学习的目标函数，并成为神经网络输出的基础函数

    Oct, 2019

  • 神经切向核，传输映射以及万能逼近

    本文通过从初始权重和其期望值之间的传输映射中进行采样，以及通过傅立叶变换构建传输映射，建立了浅层神经切向核（NTK）的普适逼近率。

    Oct, 2019

  • 深度学习中 NTK 在理解泛化方面的局限性

    本文通过缩放定律的角度研究神经切向核 (NTK) 及其经验性变量，发现它们无法完全解释神经网络泛化的重要方面。通过实际设置，我们展示了有限宽度神经网络相对于其对应的经验和无穷 NTK 起始时具有显着更好的数据缩放指数，并证明了 NTK 方法在理解自然数据集上真实网络泛化的局限性。

    Jun, 2022

  • 过参数化神经网络的一致泛化界

    本文介绍了神经网络中过度参数化情况下的泛化误差及其相关的新理论，即神经切向核理论，通过该理论的信息获取量计算出学习问题的复杂度并证明了泛化误差的上界，同时讨论了该理论对于强化学习领域的应用。

    Sep, 2021

  • 利用无限宽深度神经网络在小数据任务中的能力

    该研究表明：(a) 在无穷宽度神经网络 (NNs) 上应用 l2 损失 (通过梯度下降法) 训练，并将学习率设置为无穷小，与 (b) 基于所谓的神经切向核 (NTK) 的核回归是相等的。在此基础上，对 NTK 进行高效计算的算法已被提出，表明 NTK 在低数据任务上表现良好。

    Oct, 2019