Oct, 2023

无限宽度的图神经网络用于节点回归 / 分类

PDF
TL;DR增加节点宽度对于图神经网络及其各种体系结构（如带有跳连接的图神经网络和图注意网络）的研究，并推导了相关的核和高斯过程闭合形式，应用于节点回归和分类任务，并使用谱稀疏化方法改善运行时间和内存需求。此外，研究还简要探讨了对于归纳图学习任务（如图回归 / 分类）的扩展。
graph neural networksinfinite width neural networksgaussian processeskernelsnode regression
发现论文，激发创造
  • 灵活的无限宽度图卷积网络及表示学习的重要性

    神经网络的无限宽度极限通常被认为是具有高斯过程分布的，称为神经网络高斯过程，然而固定的 NNGP 核函数无法进行表示学习，为了了解图分类和节点分类任务中表示学习的必要性，我们开发了一个精确的工具，即图卷积深核机器，发现表示学习对于图分类和异质节点分类任务是必要的，但对于同质节点分类任务则不是。

    Feb, 2024

  • 深度神经网络作为高斯过程

    本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

    Nov, 2017

  • 有限与无限神经网络：一项实证研究

    通过实验证明了核方法优于限制宽度的全连接神经网络，并且证实 NNGP 内核经常优于 NT 内核，但它们的性能都受到正则化的影响。此外，作者提出了使用 NNGP 和 NT 内核进行预测的最佳实践方法，并在 CIFAR-10 分类任务中取得了最优结果。

    Jul, 2020

  • 关于雅可比正则化训练神经网络的无限宽度分析

    该研究采用无穷宽度分析，证明了深度神经网络及其雅可比矩阵初始条件下，当隐藏层宽度趋近无穷时，它们共同收敛于高斯过程，并通过一种线性一阶常微分方程描述了在所谓鲁棒训练下的多层感知机演化，该方程由一种神经切向核的变体决定。实验证明了理论断言与宽有限网络的相关性，并通过核回归解析研究雅可比矩阵正则化的性质。

    Dec, 2023

  • 关于超参数神经网络理论与实践之间的脱节

    通过对无限宽度极限进行实证研究，我们的结果表明：无限宽度极限理论不适用于实际的优化、不确定性量化和持续学习问题，进而对于无限宽度极限的实际相关性提出了质疑。

    Sep, 2023

  • 宽深神经网络中的高斯过程行为

    本研究研究了深度神经网络和高斯过程之间的联系，指出在广泛的条件下，随着体系结构越来越宽，隐含的随机函数在分布上会趋于高斯过程，并使用最大平均偏差评估收敛速率。最后，将贝叶斯深度网络与高斯过程进行比较，并从文献中回顾了非高斯替代模型。

    Apr, 2018

  • 无限宽神经网络的精确计算

    本篇研究开发了第一个高效精准计算卷积神经网络中神经切向核（NTK）扩展，即卷积 NTK（CNTK），并使用 GPU 实现，相较于其他方法在 CIFAR-10 上表现出明显优势，仅比与之对应的有限深度网络结构低 6%；同时，提供了第一个非渐近证明，表明当训练具有足够宽度的深度网络时，其与使用 NTK 的核回归预测器等效。

    Apr, 2019

  • 宽神经网络作为高斯过程：深度平衡模型的教训

    当 DEQ 层的宽度趋近于无穷大时，它收敛到一个高斯过程，建立了所谓的神经网络和高斯过程 (NNGP) 的对应关系，这种收敛甚至在深度和宽度的极限互换的情况下也成立，这些发现为研究 DEQ 的训练和泛化提供了基础，为未来的研究奠定了基础。

    Oct, 2023

  • 从无穷神经网络迈向深度核方法

    通过对深度无限神经网络进行研究和分析，本文证明了深度无限层网络自然地与高斯过程和核方法相一致，并设计了编码这些网络信息的随机核函数。同时，本文还在不同规模下证明了稳定性结果，从而解释了这些网络在实践应用中具有的经验性成功。

    Aug, 2015

  • 宽神经网络：从非高斯随机场的初始化到 NTK 训练几何

    本文研究了具有大规模参数的人工神经网络，并探究了正态性的校正、宽神经网络的演化控制、与高概率训练的全局最小值等。

    Apr, 2023