Feb, 2024

灵活的无限宽度图卷积网络及表示学习的重要性

PDF
TL;DR神经网络的无限宽度极限通常被认为是具有高斯过程分布的，称为神经网络高斯过程，然而固定的 NNGP 核函数无法进行表示学习，为了了解图分类和节点分类任务中表示学习的必要性，我们开发了一个精确的工具，即图卷积深核机器，发现表示学习对于图分类和异质节点分类任务是必要的，但对于同质节点分类任务则不是。
发现论文，激发创造
  • 深度神经网络中表示学习的理论提供了核方法的深度广义化

    本文介绍了一种基于无限宽的贝叶斯表达学习界限的深层高斯过程方法以及基于这个界限的核方法的深度泛化技术。实验证实这种方法能够处理有限宽的高斯方法以及 NNs，这将有助于在大规模数据上应用这种方法。

    Aug, 2021

  • 无限宽度的图神经网络用于节点回归 / 分类

    增加节点宽度对于图神经网络及其各种体系结构（如带有跳连接的图神经网络和图注意网络）的研究，并推导了相关的核和高斯过程闭合形式，应用于节点回归和分类任务，并使用谱稀疏化方法改善运行时间和内存需求。此外，研究还简要探讨了对于归纳图学习任务（如图回归 / 分类）的扩展。

    Oct, 2023

  • 为什么越大不一定越好：有限与无限神经网络

    研究表明，无限贝叶斯神经网络缺乏表征或等效核学习能力，从而导致性能变差，而有一种新型无限网络，即瓶颈无限网络，可同时继承无限网络的理论可行性和表征学习能力。

    Oct, 2019

  • 基于图神经网络的高斯过程半监督学习核函数

    本文介绍了如何将图神经网络中的归纳偏置引入高斯过程中，以优化其在图结构数据上的预测表现，并得出了一些有趣的成员和提出了一种适用于大规模数据后验推断的协方差矩阵的近似方法，通过这些基于图的协方差矩阵，与相应的图神经网络相比，具有相似的分类和回归性能以及计算时间上的优势。

    Feb, 2023

  • 图表，卷积和神经网络：从图滤波器到图神经网络

    本文利用图信号处理来表征图神经网络（GNNs）的表征空间，讨论了图卷积滤波器在 GNNs 中的作用，并展示了这类滤波器所建立的任何架构都具有置换等变性和对网络拓扑的稳定性的基本属性。然后，我们讨论了扩展了边变量和自回归移动平均图滤波器的 GNNs 以及它们的属性，并最终研究了在推荐系统和学习机器人群体的分散式控制器中使用 GNNs 的相关研究。

    Mar, 2020

  • 在无限宽度极限下探究神经网络隐式先验的不确定性特性

    本文研究深度学习模型的不确定性估计问题，基于神经网络高斯过程构建了一个概率模型，能够更好地校准模型并比较有限和无限宽模型的表现差异，同时也考虑了分类问题和迁移学习等实际应用场景。

    Oct, 2020

  • 有限与无限神经网络：一项实证研究

    通过实验证明了核方法优于限制宽度的全连接神经网络，并且证实 NNGP 内核经常优于 NT 内核，但它们的性能都受到正则化的影响。此外，作者提出了使用 NNGP 和 NT 内核进行预测的最佳实践方法，并在 CIFAR-10 分类任务中取得了最优结果。

    Jul, 2020

  • 多层随机特征和神经网络的逼近能力

    神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词，论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构，它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核，同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。

    Apr, 2024

  • 基于 NNGP 的神经结构搜索

    本文研究 Bayesian 神经网络，使用 Monte-Carlo NNGP 推断方法得到 NNGP 性能，探讨其在神经架构搜索中的应用，发现 NNGP 性能具有成本低廉、独立于训练度量且可以用于缩小大搜索空间或提高基于训练的性能度量的优点。

    Nov, 2020

  • 迈向更深的图神经网络

    本研究对图神经网络进行深入探究，提出了解决深度学习中过度平滑问题的新方法，并通过实验证明了其在引文、合著和共同购买等领域的卓越表现。

    Jul, 2020