Jun, 2020

张量程序 II：任意结构神经切向核

PDF
TL;DR本文证明了任何结构的随机初始化神经网络在网络宽度趋于无穷大时，都会使其 Tangent Kerne（NTK）收敛于确定性极限，并介绍了如何计算此极限。文章还提到了梯度独立假设（GIA）的常见满足条件 ——Simple GIA Check，并探讨了 GIA 的适用范围和限制。最后，文中给出了基于无限宽度 NTK 的可重复实现的循环神经网络、Transformer 和批归一化等各类网络模型的代码。
neural networktangent kernelgiantk limittensor programs
发现论文，激发创造
  • Tensor Programs IIb: 神经切向核训练动态的架构通用性

    通过 Tensor Programs 技术在 Tensor Program 中分析的 SGD 动态，我们证明了使用 NTK 参数化的相同神经网络在训练期间遵循功能空间中的内核梯度下降动态，其中内核是无穷宽度 NTK，从而完整证明了 NTK 行为的结构普适性。

    May, 2021

  • 神经正切核：神经网络的收敛性和泛化性

    本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

    Jun, 2018

  • 深度神经网络和神经切向等级的动态

    本文研究了有限宽度的深度全连接神经网络中神经切向核的动态，并推导出一个无穷层次的普通微分方程组，它捕捉了深层神经网络的梯度下降动态。此外，在条件限制下，研究证明了 NTH 的截断层次近似于 NTK 的动态。这些描述使直接研究深度神经网络的 NTK 的变化成为可能，同时也揭示了深度神经网络胜过相应极限 NTK 的内在原因。

    Sep, 2019

  • 快速有限宽度神经切向核

    通过分析神经网络结构，我们提出了两种改变有限宽度神经切向核计算量和内存要求指数的新算法，从而显著提高了效率。

    Jun, 2022

  • 共享权重的宽神经网络的缩放极限：高斯过程行为、梯度独立性和神经切向核导出

    本研究结合随机神经网络和张量程序的概念，研究了神经网络的收敛性和梯度动态性，在多种不同体系下，从而表明了该框架不仅可以引导更强的高斯过程的设计，而且还可以深入理解现代架构中的 SGD 动态。

    Feb, 2019

  • 神经切向核方法的神经网络修正

    使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

    Jul, 2020

  • 从实际角度揭秘神经切向核：在不进行训练的情况下，它是否可供神经架构搜索信赖？

    本研究提出了基于 Label-Gradient Alignment（LGA）的新型 NTK 度量方法，通过少量训练，LGA 能够可靠且准确地估计神经结构的性能，并能指导现有的搜索算法以更小的搜索成本实现具有竞争性的搜索性能。

    Mar, 2022

  • 深度和初始化对无限宽神经切向核的影响

    本文研究了深度与宽度相当的全连接 ReLU 网络的神经切向核（Neural Tangent Kernel）及其性质，发现其性质取决于深度与宽度之比以及初始状态下参数分布的情况。结果表明，在超参数空间中，有序、混沌和混沌边缘三个阶段很重要。在混沌和混沌边缘阶段，NTK 可变性随着深度呈指数增长，但在有序阶段则不会，此外还展示了深度神经网络的 NTK 只有在有序阶段中才能在训练过程中保持恒定，并探讨了 NTK 矩阵在训练过程中的结构变化。

    Feb, 2022

  • 神经切向核的正性

    对于任何非多项式激活函数，神经切向核（NTK）是严格正定的，这个结果与宽神经网络的记忆能力直接相关。

    Apr, 2024

  • 循环神经切向核

    本文介绍并研究了循环神经切线核（RNTK）的性能，证明其能够比其他内核提供更好的性能表现，尤其在处理不同长度输入的情况下表现良好。

    Jun, 2020