Mar, 2023

技术报告：图神经网络进入语法领域

PDF
TL;DR本文提出一种新的 GNN 设计策略，利用无上下文语法生成矩阵语言 MATLANG，从而确保 WL 表达能力，子结构计数能力和谱属性。根据该策略，设计了语法图神经网络 G$^2$N$^2$，证明了其在边级上计算长度为 6 的环并能够达到带通滤波器，实验结果证实了理论结果。
发现论文，激发创造
  • 门控图神经网络实现的图到序列学习

    提出了一种新的神经网络模型结合 Gated Graph Neural Networks 和输入转换解决了线性化启发式和参数爆炸问题，可以对 AMR 图和基于语法的神经机器翻译进行生成，实验结果表明该模型优于强基线模型。

    Jun, 2018

  • 图神经网络的逻辑

    本文旨在阐述图神经网络的表达能力可以通过组合 Weisfeiler-Leman 算法和有限变量计数逻辑来精确描述，这种对应关系甚至导致了高阶图神经网络与高维 WL 算法的相应。

    Apr, 2021

  • 图神经网络的能力超出我们的想象

    本研究提出一种使用特殊算法和线性代数工具来分析图神经网络 (GNNs) 的表征能力的方法，证明 NNG 可以优于 Weisfeiler-Lehman 算法，同时在图同构和图分类等数据集上进行充分实验证明了这种新型的 GNN 架构更具表达力的特点。

    May, 2022

  • 语言和图神经网络模型的高效有效训练

    本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。

    Jun, 2022

  • 邻居间通信：面向强大和可扩展的图神经网络

    提出了一种基于 1-WL 和邻居之间的边缘考虑的 NC-1-WL 算法，实现了图同构测试，提高了图神经网络的可表达性；进一步提出了 NC-GNN 框架作为 NC-1-WL 的可微分神经版本，能够在各种基准测试中实现出色的性能。

    Jun, 2022

  • 路径神经网络：表现力强且准确的图神经网络

    本文引入 Path Neural Network 模型来提高图表达的表达能力，实验证明该模型比 1-WL 算法更加强大，且在图分类和图回归任务中表现良好。

    Jun, 2023

  • 图形神经网络的图形重写

    本文提出将图重写作为研究和比较图神经网络的形式模型，并将 GNN 表示为图重写系统，探讨其架构和算法。作者开发了一个基于 Groove 图重写模型的案例研究，用于模拟消息传递神经网络，并探讨其对动态更新的增量操作。

    May, 2023

  • 使用 CCG 分析和大型语言模型建模大脑中的结构构建

    通过使用组合范畴语法（CCG）作为语法模型，研究人员发现可以更好地理解自然环境中语言理解的行为和神经相关性。使用 fMRI 收集参与者听故事期间的神经信号，研究发现 CCG 在解释神经信号方面的有效性优于上下文无关文法，并可以从可选附加语方面解释。

    Oct, 2022

  • Weisfeiler 和 Lehman 走向细胞：CW 网络

    本篇研究提出了基于 CW 网络的一种消息传递方法，将 Simplicial Complexes 扩展为适应更加灵活的 Cell Complexes，并在分子图问题上证明了该模型优越性。

    Jun, 2021

  • 图波神经网络

    我们提出了一种图波形神经网络（GWNN），通过使用图小波变换来解决以往依赖于图傅里叶变换的图谱卷积神经网络（CNN）方法的缺点，这些方法需要进行高计算成本的矩阵特征分解。与图傅里叶变换不同的是，图小波变换可以通过快速算法获得，无需矩阵特征分解。此外，图小波在顶点域中稀疏且局部化，可以提供高效性和良好的图卷积可解释性。经过实验，GWNN 在三个基准数据集上均明显优于以往的图谱 CNNs，在图半监督分类任务上具有更好的性能。

    Apr, 2019