May, 2023

神经网络作为无限树状概率图模型

PDF
TL;DR本文提出了一种创新性的解决方案，通过构建无限树状 PGMs 来精确对应神经网络，发现 DNNs 在前向传播过程中实际上是精确的 PGM 推理的近似，这种直接的近似揭示了 DNNs 的精神内核。
deep neural networksprobabilistic graphical modelsinfinite tree-structured pgmsapproximationspgm inference
发现论文，激发创造
  • 图神经网络与概率图模型的交叉：综述

    该研究综述了图神经网络和概率图形模型的交叉应用，探讨了 GNN 如何受益于 PGM 学习结构表示，如何实现更有效的推理和结构学习，以及分析了近期研究中使用的基准数据集和未来研究方向。

    May, 2022

  • 近似推断将深度网络转化为高斯过程

    本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

    Jun, 2019

  • 基于图神经网络的概率图模型推理

    使用图神经网络作为一种有利于推断任务的推送算法，对于在循环密集的概率有向图上显著优于置信传播算法

    Mar, 2018

  • PGM-Explainer：面向图神经网络的概率图模型解释器

    本文章提出了 PGM-Explainer，一种基于概率图模型（PGM）的 GNN 解释器，其能够识别关键的图形成分并生成一个 PGM 来近似解释预测，并且将解释以条件概率的形式呈现。理论分析表明，PGM-Explainer 生成的 PGM 包括目标预测的 Markov-blanket，即包括所有其统计信息。实验结果显示，PGM-Explainer 在许多基准任务中均达到比现有解释器更好的性能。

    Oct, 2020

  • 神经图模型

    本研究介绍了神经图模型，该模型采用神经网络作为多任务学习框架，通过表示节点之间的依赖结构及其复杂的函数表示来捕获特征之间的完整的复杂依赖关系，并提供 NGMs 的有效学习、推理和采样算法。NGMs 可以适应包括有向、无向和混合边缘图在内的通用图结构，可以处理混合输入数据类型。经验研究表明，NGMs 能够代表高斯图模型，并从由 CDC 提供的真实世界婴儿死亡数据中提取见解。

    Oct, 2022

  • 深度神经网络作为高斯过程

    本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

    Nov, 2017

  • 因子图神经网络

    我们提出了一种能够有效捕捉高阶关系进行推理和学习的因子图神经网络模型，并通过适当选择信息聚合操作，实现了 Max-Product 和 Sum-Product 循环置信传播的单一架构。通过在真实和合成数据集上进行广泛的实验评估，证明了该模型的潜力。

    Aug, 2023

  • 高效神经化 Higher-order Belief Propagation

    本文提出了一种结合了图神经网络和概率图模型的方法，手段是利用一种高效的近似推理算法，将其嵌入到神经网络中实现端到端的学习，可以有效地捕捉节点和图之间的高阶关系，并在分子数据集上取得了明显优于基于 $k$ 阶图神经网络的最新效果。

    Oct, 2020

  • 无限宽度的图神经网络用于节点回归 / 分类

    增加节点宽度对于图神经网络及其各种体系结构（如带有跳连接的图神经网络和图注意网络）的研究，并推导了相关的核和高斯过程闭合形式，应用于节点回归和分类任务，并使用谱稀疏化方法改善运行时间和内存需求。此外，研究还简要探讨了对于归纳图学习任务（如图回归 / 分类）的扩展。

    Oct, 2023

  • 图神经网络是内在良好的泛化器：通过建立 GNN 和 MLP 之间的联系进行深入探究

    本文通过引入中间模型 PMLP，揭示了 GNN 的性能提升主要源于其本质上的泛化能力，而非原理层面上的增强表现力。同时，本文发现 PMLP 表现与 GNN 相当，但训练效率更高。该发现为解析 GNN 相关问题提供了新的视角。

    Dec, 2022