May, 2023

深度图神经网络的可逆和不可逆基于括号的动力学

PDF
TL;DR本篇论文介绍了一些基于保结构动力系统的创新图神经网络结构，其中证明了这些结构能够保能量或随深度逐渐产生正的耗散。这一理论框架为可解释的构建提供了可能，并在阐明了可逆性和不可逆性在网络性能中的作用的同时，帮助解释了当前网络架构中的理论离题。
physics-inspired architecturesdeep graph neural networksreversibilityirreversibilitystructure-preserving bracket-based dynamical systems
发现论文，激发创造
  • 针对预测不可逆过程的机器学习结构保持括号

    本文介绍了一种学习无可逆动力学的新方法，该方法利用 metriplectic 动力学系统的耗散括号的新参数化来学习泛化 Casimirs，此外，我们保证热噪声的情况下精确保存涨落耗散定理以保证热力学一致性。

    Jun, 2021

  • 结构保持神经网络

    利用前馈神经网络和热力学第一和第二定律，通过从数据中学习物理系统的方法，以及使用所谓的非平衡可逆耦合通用方程 (GENERIC) 的度规辛结构，可以最小化地使用数据。该方法不需要强制任何平衡方程式，因此不需要关于系统性质的任何先前知识。能量守恒和熵耗散是该方法结构的自然副产品。展示了该方法的性能示例，包括守恒和耗散系统以及离散和连续系统。

    Apr, 2020

  • 隐式图神经网络

    本文提出了一种名为 “Implicit Graph Neural Networks（IGNN）” 的图学习框架，其利用 Perron-Frobenius 理论来确保该框架的良好性，并利用隐式微分得到一种可行的投影梯度下降法来训练该框架，实验证明 IGNN 可以稳定捕捉长程依赖并优于现有的 GNN 模型。

    Sep, 2020

  • 一种求解图神经扩散网络的电荷保持方法

    这篇论文旨在对基于图神经网络（GNNs）模型的扩散问题进行系统的数学解释。我们的方法的出发点是一个耗散性函数，导致了动力学方程，从而使我们能够研究模型的对称性。我们讨论了守恒荷和一种保持荷守恒的数值方法来求解动力学方程。在任何动力学系统以及图神经扩散（GRAND）中，了解荷值及其在演化过程中的守恒情况可以帮助我们理解 GNNs 和其他网络的学习能力。

    Dec, 2023

  • 破解哈密顿神经网络的归纳偏差

    研究物理启发的神经网络的诱导偏差及其应用。表明与常规认识相反，通过直接建模加速度避免人工坐标系的人工复杂性，而不是辛结构或能量守恒，改善了 HNN 的广义性能。在实际中，通过放松这些模型的诱导偏差，可以在能量守恒系统上匹配或超过其性能，同时显著提高非守恒系统上的性能。作者将这种方法扩展到通用 Mujoco 环境的转换模型构建中，展示了我们的模型可以适当地平衡诱导偏差与需求灵活性，从而实现基于模型的控制。

    Feb, 2022

  • 快速深度图神经网络

    本文提出了一种有效构建深度图神经网络的方法。该方法利用动力系统中固定点的思想，通过递归神经网络实现，并采用深度架构组织递归单元。我们证明了即使在没有训练递归连接的情况下，小型的深度图神经网络的性能也能达到或超过当前最先进的图分类任务水平。

    Nov, 2019

  • 网络重构与动态学习的通用深度学习框架

    通过提出 Gumbel Graph 网络 (GGN) 框架，我们展示了一种模型自由、数据驱动的深度学习方法，可用于重建网络连接并预测时间序列的状态。该框架在连续、离散、二进制等不同类型的时间序列数据上展现了显著的对比优势。

    Dec, 2018

  • 使用子等变图神经网络学习物理动力学

    本文提出了一种新颖的基础方法，称为 Subequivariant Graph Neural Network，并解决了在物理动力学中如何将物理定律所包含的对称性协同模型设计以及模型如何处理物理世界中不同形状、尺寸和属性的物体等问题。该模型在 8 个场景的 Physion 数据集中，平均接触预测准确率有超过 3％的提高，在 RigidFall 数据集中有 2 倍的低回滚均方误差，并展现出强大的泛化能力和数据效率。

    Oct, 2022

  • 将哈密顿结构偏好注入深度图网络以实现长程传播

    动态信息扩散在图内是一个影响图表示学习的重要课题，特别是在考虑长程传播时。为此，我们引入了（端口）哈密顿深度图网络，这是一个基于哈密顿动力系统守恒定律的新框架，通过在图中建模神经信息流来控制和调节信息的传播和衰减程度。我们将非耗散的长程传播和非守恒行为统一在一个理论和实践框架下，并引入了机械系统的工具来衡量两个组成部分之间的平衡。我们的方法可以应用于一般的消息传递体系结构，并在时间上提供了信息保守性的理论保证。实证结果证明了我们的端口哈密顿方案在长程基准测试中将简单的图卷积架构推至最先进水平的效果。

    May, 2024

  • 从连续动力学到图神经网络：神经扩散与更多

    图神经网络（GNNs）在建模关系型数据方面表现出显著的潜力，并被广泛应用于各个领域。图神经网络的关键机制是所谓的消息传递，其中信息从邻域迭代地聚合到中心节点。将消息传递过程类比为热扩散动力学可以从根本上理解 GNNs 的优势和局限，并进而指导模型设计。最近，出现了大量使用连续动态学的 GNNs 的作品，旨在解决 GNNs 已知的局限性，如过度平滑和过度压缩。在这项调查中，我们首次系统全面地审查了使用连续动态学视角的研究。为此，我们介绍了适应 GNNs 的连续动态学的基本要素，以及对图神经动力学设计的一般框架。然后，我们根据它们的驱动机制和基础动力学对现有作品进行了回顾和分类。我们还总结了如何在连续框架下解决经典 GNNs 的局限性。最后，我们确定了多个开放的研究方向。

    Oct, 2023