Jul, 2020

有限与无限神经网络：一项实证研究

PDF
TL;DR通过实验证明了核方法优于限制宽度的全连接神经网络，并且证实 NNGP 内核经常优于 NT 内核，但它们的性能都受到正则化的影响。此外，作者提出了使用 NNGP 和 NT 内核进行预测的最佳实践方法，并在 CIFAR-10 分类任务中取得了最优结果。
neural networkskernel methodsnngp kernelsnt kernelsfinite-width networks
发现论文，激发创造
  • 关于超参数神经网络理论与实践之间的脱节

    通过对无限宽度极限进行实证研究，我们的结果表明：无限宽度极限理论不适用于实际的优化、不确定性量化和持续学习问题，进而对于无限宽度极限的实际相关性提出了质疑。

    Sep, 2023

  • 利用无限宽深度神经网络在小数据任务中的能力

    该研究表明：(a) 在无穷宽度神经网络 (NNs) 上应用 l2 损失 (通过梯度下降法) 训练，并将学习率设置为无穷小，与 (b) 基于所谓的神经切向核 (NTK) 的核回归是相等的。在此基础上，对 NTK 进行高效计算的算法已被提出，表明 NTK 在低数据任务上表现良好。

    Oct, 2019

  • 宽神经网络：从非高斯随机场的初始化到 NTK 训练几何

    本文研究了具有大规模参数的人工神经网络，并探究了正态性的校正、宽神经网络的演化控制、与高概率训练的全局最小值等。

    Apr, 2023

  • 无限宽神经网络的精确计算

    本篇研究开发了第一个高效精准计算卷积神经网络中神经切向核（NTK）扩展，即卷积 NTK（CNTK），并使用 GPU 实现，相较于其他方法在 CIFAR-10 上表现出明显优势，仅比与之对应的有限深度网络结构低 6%；同时，提供了第一个非渐近证明，表明当训练具有足够宽度的深度网络时，其与使用 NTK 的核回归预测器等效。

    Apr, 2019

  • 为什么越大不一定越好：有限与无限神经网络

    研究表明，无限贝叶斯神经网络缺乏表征或等效核学习能力，从而导致性能变差，而有一种新型无限网络，即瓶颈无限网络，可同时继承无限网络的理论可行性和表征学习能力。

    Oct, 2019

  • 神经分类器无限宽度极限的一般理论探讨

    本文提出一个新的框架，将两种不同的神经网络极限理论联系起来，并证明在有限宽度的情况下，离散时间均场极限比常数核极限更有效。

    Mar, 2020

  • 无限宽度的图神经网络用于节点回归 / 分类

    增加节点宽度对于图神经网络及其各种体系结构（如带有跳连接的图神经网络和图注意网络）的研究，并推导了相关的核和高斯过程闭合形式，应用于节点回归和分类任务，并使用谱稀疏化方法改善运行时间和内存需求。此外，研究还简要探讨了对于归纳图学习任务（如图回归 / 分类）的扩展。

    Oct, 2023

  • 标准参数化神经网络的无限宽度极限

    本文提出了一种改进的标准参数化方法，可以正确地在无限宽度的情况下捕捉到有限宽度网络的训练动态，同时保持所有属性，包括神经切线核，实验表明这种参数化方法通常可以达到与 NTK 参数化类似的精度，但更好地对应典型有限宽度网络的参数化。

    Jan, 2020

  • 无限宽神经网络中的特征学习

    研究表明，标准和 NTK 参数化的神经网络不能学习特征，这对于预训练和转移学习至关重要。通过修改标准参数化，使用 Tensor Programs 技术，我们计算了神经网络的极限，并发现其表现优于 NTK 基线和有限宽网络。

    Nov, 2020

  • 从无穷神经网络迈向深度核方法

    通过对深度无限神经网络进行研究和分析，本文证明了深度无限层网络自然地与高斯过程和核方法相一致，并设计了编码这些网络信息的随机核函数。同时，本文还在不同规模下证明了稳定性结果，从而解释了这些网络在实践应用中具有的经验性成功。

    Aug, 2015