Jun, 2024

基于动态（图）神经网络的规则学习

PDF
TL;DR通过将规则函数从知识中生成并使用这些规则定义基于规则的层，我们提出了一种解决经典神经网络体系结构中难以自然整合额外信息或专家知识进入学习过程的问题的两步方法。我们的研究重点是第二步，即基于规则的层，它们旨在根据输入样本动态地安排可学习参数在权重矩阵和偏差向量中。我们证明了我们的方法通过选择适当的规则来广义化传统前馈层，如全连接层和卷积层。我们提出了基于规则的图神经网络（RuleGNNs）作为一个具体的应用，克服了普通图神经网络的一些限制。我们的实验结果表明，RuleGNNs 的预测性能与使用基于 Weisfeiler-Leman 标签和模式计数的简单规则的最先进图分类器相当。此外，我们引入了新的合成基准图数据集，展示了如何将专家知识整合到 RuleGNNs 中，使它们比普通图神经网络更强大。
neural network architecturesrule based layersdynamic neural networkgraph neural networksexpert knowledge
发现论文，激发创造
  • 使用循环图神经网络学习图算法

    针对图状数据的学习问题，该研究提出了一种基于递归架构的图神经网络算法，其关键在于使用跳过连接、状态规则化和边缘卷积等三种技术以实现对小型图问题的端到端学习及大规模图问题的推广。实验证明该算法具有较高的推广能力。

    Dec, 2022

  • 利用逻辑规则开发深度神经网络

    这篇论文提出了一种深度学习和逻辑规则相结合的通用框架，能够将逻辑规则的结构信息转移至神经网络的权重中，有效地提高了 CNN 和 RNN 的性能，适用于情感分析和命名实体识别等多个领域。

    Mar, 2016

  • 图神经网络是动态规划程序员

    本文研究了神经算法推理与图神经网络的最新进展，特别关注神经网络的动态规划以及范畴论和抽象代数，验证了它们之间的内在联系，得到在边缘任务上更坚实的 GNN 体系结构，并在 CLRS 算法推理基准测试中证明了实证结果。

    Mar, 2022

  • 图神经网络：方法和应用综述

    本文介绍了图神经网络（GNNs）的设计管道，详细讨论了其各个组成部分的变体，对其应用进行了系统分类，并提出了四个开放性问题供未来研究。

    Dec, 2018

  • 决定如何决策：人工神经网络中的动态路由

    我们提出并系统评估了三种训练动态路由人工神经网络的策略：通过学习变换的图形，不同的输入信号可以采取不同的路线。我们发现，在训练用于分类图像的动态路由网络中，层和分支变得专门处理不同类别的图像。此外，给定固定的计算预算，动态路由网络往往比可比的静态路由网络表现更好。

    Mar, 2017

  • 流式图神经网络

    本文提出一种新的动态图神经网络模型 DGNN，能够利用图的动态信息，通过捕捉边之间的顺序信息、边之间的时间间隔和信息传播一致性，不断更新节点信息，以适应不断发展变化的图，实验结果证明了该框架的有效性。

    Oct, 2018

  • 关于激活规则的 GNN 可解释性研究

    GNNs 利用节点表示学习构建的强大模型在与图相关的许多机器学习问题中表现出色，但其部署的主要障碍在于社会可接受性和可信度问题，我们提出了通过挖掘隐藏层的激活规则来理解 GNN 对世界的感知，以解决这一问题，并介绍了主观激活模式领域。通过信息论的基于背景知识的方法来确定激活规则的兴趣度，从而揭示了 GNN 用于分类图的特征和不同层所构建的隐藏特征，同时这些规则还可用于解释 GNN 的决策。实验结果表明在合成和真实数据集上，这些规则在解释图分类方面具有高竞争性，可提高 200% 的准确度。

    Jun, 2024

  • 用图神经网络和规则实现归纳式知识图补全的分析

    归纳性知识图谱补全的这篇研究中，通过学习训练图谱中的推理模式，从而对不相交的测试图谱进行预测；研究发现基于规则的方法相对于基于图神经网络（GNNs）的最新方法具有较低的性能，但通过针对问题所涉及的两个因素进行优化，可以实现接近基于图神经网络的性能，同时保留了规则方法的可解释性优势，并且进一步的变种在总体知识图谱中的表现优于基于图神经网络的方法。

    Aug, 2023

  • 使用图神经网络学习复杂系统的动力学和结构

    本研究训练了图神经网络以适应来自非线性动力系统的时间序列，发现了学习表示和模型组件的简单解释，并成功地确定了 ' 图翻译器 '，使两种新类型广义：仅基于时间序列观测来恢复新系统实例的潜在结构，或者直接从该结构构造新网络。结果表明，理解复杂系统的动态和结构及其如何用于泛化的途径。

    Feb, 2022

  • 动态图神经网络调查

    图神经网络已成为从图结构数据中有效挖掘和学习的强大工具，但大多数研究侧重于静态图，忽视了真实世界网络的动态特性，该论文提供了对基本概念、关键技术和最新动态图神经网络模型的全面综述。

    Apr, 2024