Aug, 2023

近似等变图网络

PDF
TL;DR图神经网络 (GNNs) 和欧几里德卷积神经网络 (CNNs) 的等变性对称性不同，本篇论文侧重于探讨 GNNs 的主动对称性，通过对信号在固定图上的支持进行学习，将近似对称性形式化为图粗化，提出了一个偏差 - 方差公式来量化损失表达性与学习估计的规则性之间的权衡，实验证明，选择比图自同构群大但小于全排列群的适当大的群可以达到最佳泛化性能。
graph neural networksequivariance symmetryactive symmetriesapproximate symmetriesgeneralization performance
发现论文，激发创造
  • 对等图神经网络在物理动力学学习中松弛连续约束

    本文提出了一种基于离散等变的图神经网络（DEGNN），通过将几何特征转化为排列不变嵌入，实现相应离散点群的等变消息传递，从而提高对未观测到的对称动力学的表示能力和泛化性能。在各种物理动力学中，DEGNN 相较于现有的方法具有显著的优越性，并可以以较少的数据进行学习，并且可以跨领域进行泛化，如未观测到的方向。

    Jun, 2024

  • 不变和等变图神经网络的表现能力

    本文提出了一个理论框架，可以比较图神经网络架构的表达能力，证明了实用 GNN 的第一近似保证，FGNN 被证明是最具表现力的架构之一，在 Quadratic Assignment Problem 中的应用表明 FGNN 能够比现有的基于谱、SDP 或其他 GNN 架构的算法表现得更好。

    Jun, 2020

  • E (n) 等变图神经网络

    本文介绍了一种新的模型来学习具有等变性的图神经网络，称为 EGNN，此方法不需要在中间层中计算昂贵的高阶表示，同时具有竞争力或更好的性能，在 3 维空间等变性上具有比现有方法更大的伸缩性，并在动态系统建模，图自编码器中的表征学习和预测分子性质方面证明了其有效性。

    Feb, 2021

  • 普适不变与等变图神经网络

    本文研究了一类具有单隐藏层的不变和等变网络，并证明了其新的普适性定理。首先，本文提出了一种以代数理论为基础的证明方式。其次，本文将这一结果扩展到等变网络中，该领域的理论研究相对较少。最后，本文的结果表明，相同的参数可以在具有不同规模的图上近似实现一定的函数。

    May, 2019

  • 不变量和等变量的经典与量子图神经网络比较

    机器学习算法、图神经网络、量子计算、等变图神经网络和二元分类任务是本文的关键词和研究主题。

    Nov, 2023

  • 液体流动建模中等变和不变对称性的重要性

    本研究建立了多尺度同变 GNN 模型用于预测流体流动情况，并研究了同变和不变表示方法对模型预测的影响，结果表明使用不变量可以更准确地预测长期流体流动情况且这些不变量可以通过数据驱动编码器学习。

    May, 2023

  • 等变可操控神经网络：对对称群的特别强调综述

    本研究论文探讨卷积神经网络在对称群中的应用，提出了群等变神经网络的概念和架构，以及使用多种层和滤波器的方法，为对称群的表示和胶囊的细节做出了数学分析。

    Jan, 2023

  • 线性等变网络的隐性偏差

    本文研究群等变卷积神经网络，在训练时隐式地通过具体的架构对模型进行正则化处理来实现其显式的对称性偏置，从而实现模型的推广。同时，文中还提出了傅里叶空间隐式正则化模型的解释，并通过实验证明了该模型的有效性。

    Oct, 2021

  • 用于学习神经网络等变表示的图神经网络

    本文提出了一种将神经网络表示为参数计算图的方法，借助图神经网络和 transformers 来保持置换对称性，并展示了该方法在多个任务中的有效性。

    Mar, 2024

  • 等变性并非你所需之一：揭示等变图神经网络在粒子物理任务中的实用性

    将诱导偏差引入机器学习模型是机器学习研究的一个活动领域，特别是当机器学习模型被应用于关于物理世界的数据时。本文从相关的等变网络的文献中汲取灵感，通过使用真实世界的粒子物理重建任务作为评估测试平台，全面评价了等变图神经网络的提议的好处。我们证明了许多通常与等变网络相关联的理论优点在实际系统中可能不成立，并介绍了未来研究的有吸引力的方向，这将有利于机器学习的科学理论和物理应用。

    Nov, 2023