Apr, 2019

无限宽神经网络的精确计算

PDF
TL;DR本篇研究开发了第一个高效精准计算卷积神经网络中神经切向核（NTK）扩展，即卷积 NTK（CNTK），并使用 GPU 实现，相较于其他方法在 CIFAR-10 上表现出明显优势，仅比与之对应的有限深度网络结构低 6%；同时，提供了第一个非渐近证明，表明当训练具有足够宽度的深度网络时，其与使用 NTK 的核回归预测器等效。
neural tangent kernelconvolutional neural netsdeep learningcifar-10kernel-based method
发现论文，激发创造
  • 利用无限宽深度神经网络在小数据任务中的能力

    该研究表明：(a) 在无穷宽度神经网络 (NNs) 上应用 l2 损失 (通过梯度下降法) 训练，并将学习率设置为无穷小，与 (b) 基于所谓的神经切向核 (NTK) 的核回归是相等的。在此基础上，对 NTK 进行高效计算的算法已被提出，表明 NTK 在低数据任务上表现良好。

    Oct, 2019

  • 关于超参数神经网络理论与实践之间的脱节

    通过对无限宽度极限进行实证研究，我们的结果表明：无限宽度极限理论不适用于实际的优化、不确定性量化和持续学习问题，进而对于无限宽度极限的实际相关性提出了质疑。

    Sep, 2023

  • 有限与无限神经网络：一项实证研究

    通过实验证明了核方法优于限制宽度的全连接神经网络，并且证实 NNGP 内核经常优于 NT 内核，但它们的性能都受到正则化的影响。此外，作者提出了使用 NNGP 和 NT 内核进行预测的最佳实践方法，并在 CIFAR-10 分类任务中取得了最优结果。

    Jul, 2020

  • 深度和初始化对无限宽神经切向核的影响

    本文研究了深度与宽度相当的全连接 ReLU 网络的神经切向核（Neural Tangent Kernel）及其性质，发现其性质取决于深度与宽度之比以及初始状态下参数分布的情况。结果表明，在超参数空间中，有序、混沌和混沌边缘三个阶段很重要。在混沌和混沌边缘阶段，NTK 可变性随着深度呈指数增长，但在有序阶段则不会，此外还展示了深度神经网络的 NTK 只有在有序阶段中才能在训练过程中保持恒定，并探讨了 NTK 矩阵在训练过程中的结构变化。

    Feb, 2022

  • 增强卷积神经切向核

    该研究使用新操作 Local Average Pooling (LAP) 修正了 CNN-GP 和 CNTK 并采用 Coates 等人提出的图像预处理技术，成功将在 CIFAR-10 数据集上的分类准确率提升至 89％，具有与 AlexNet 相当的表现。

    Nov, 2019

  • 有限分类模型的精确核等价性

    我们通过从梯度下降训练的任何有限大小参数化分类模型中推导出的首个完全表示，探索了神经网络和核方法之间的等价性，并将我们的精确表示与著名的神经切向核 (NTK) 进行比较，并讨论相对于 NTK 和其他非精确路径核公式的近似误差。我们通过实验证明，该核能够以机器精度计算实现，并利用该精确核展示我们的理论贡献能够为神经网络所作的预测提供有用的洞察，特别是它们的泛化方式。

    Aug, 2023

  • 深度神经网络和神经切向等级的动态

    本文研究了有限宽度的深度全连接神经网络中神经切向核的动态，并推导出一个无穷层次的普通微分方程组，它捕捉了深层神经网络的梯度下降动态。此外，在条件限制下，研究证明了 NTH 的截断层次近似于 NTK 的动态。这些描述使直接研究深度神经网络的 NTK 的变化成为可能，同时也揭示了深度神经网络胜过相应极限 NTK 的内在原因。

    Sep, 2019

  • 神经正切核：神经网络的收敛性和泛化性

    本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

    Jun, 2018

  • 神经分类器无限宽度极限的一般理论探讨

    本文提出一个新的框架，将两种不同的神经网络极限理论联系起来，并证明在有限宽度的情况下，离散时间均场极限比常数核极限更有效。

    Mar, 2020

  • 宽神经网络：从非高斯随机场的初始化到 NTK 训练几何

    本文研究了具有大规模参数的人工神经网络，并探究了正态性的校正、宽神经网络的演化控制、与高概率训练的全局最小值等。

    Apr, 2023