带约束条件的等变图机械网络
本文提出了一种新颖的基础方法,称为 Subequivariant Graph Neural Network,并解决了在物理动力学中如何将物理定律所包含的对称性协同模型设计以及模型如何处理物理世界中不同形状、尺寸和属性的物体等问题。该模型在 8 个场景的 Physion 数据集中,平均接触预测准确率有超过 3%的提高,在 RigidFall 数据集中有 2 倍的低回滚均方误差,并展现出强大的泛化能力和数据效率。
Oct, 2022
本文提出了一种基于离散等变的图神经网络(DEGNN),通过将几何特征转化为排列不变嵌入,实现相应离散点群的等变消息传递,从而提高对未观测到的对称动力学的表示能力和泛化性能。在各种物理动力学中,DEGNN 相较于现有的方法具有显著的优越性,并可以以较少的数据进行学习,并且可以跨领域进行泛化,如未观测到的方向。
Jun, 2024
将诱导偏差引入机器学习模型是机器学习研究的一个活动领域,特别是当机器学习模型被应用于关于物理世界的数据时。本文从相关的等变网络的文献中汲取灵感,通过使用真实世界的粒子物理重建任务作为评估测试平台,全面评价了等变图神经网络的提议的好处。我们证明了许多通常与等变网络相关联的理论优点在实际系统中可能不成立,并介绍了未来研究的有吸引力的方向,这将有利于机器学习的科学理论和物理应用。
Nov, 2023
图神经网络 (GNNs) 和欧几里德卷积神经网络 (CNNs) 的等变性对称性不同,本篇论文侧重于探讨 GNNs 的主动对称性,通过对信号在固定图上的支持进行学习,将近似对称性形式化为图粗化,提出了一个偏差 - 方差公式来量化损失表达性与学习估计的规则性之间的权衡,实验证明,选择比图自同构群大但小于全排列群的适当大的群可以达到最佳泛化性能。
Aug, 2023
本文介绍了一种新的模型来学习具有等变性的图神经网络,称为 EGNN,此方法不需要在中间层中计算昂贵的高阶表示,同时具有竞争力或更好的性能,在 3 维空间等变性上具有比现有方法更大的伸缩性,并在动态系统建模,图自编码器中的表征学习和预测分子性质方面证明了其有效性。
Feb, 2021
该论文介绍了一种新兴的机器学习范式:学习高阶函数,特别是当这些函数的输入是神经网络时,尤其关注于与神经网络参数化中的排列对称性不同的扩展对称性,即缩放对称性。研究者提出了一种名为 ScaleGMNs 的框架,通过整合缩放对称性来使神经元和边的表示对于有效的缩放是等变的,并证明了它可以模拟任何输入前馈神经网络的前向和反向传递过程。实验结果表明,该方法在几个数据集和激活函数的性能上取得了领先的状态,突显了缩放对称性作为神经网络处理的一个归纳偏好的能力。
Jun, 2024
矩阵函数神经网络是一种新颖的架构,通过分析的矩阵等变函数参数化非局部交互。在标准图形基准测试中,MFN 架构实现了最先进的性能,并能够捕捉量子系统中复杂的非局部交互,为新的最先进力场铺平了道路。
Oct, 2023
采用等变图神经网络比其非等变神经网络在动态交互模型中能够更准确地学习流体力学系统的运动,并发现等变模型可以对湍流流量进行粗粒化建模和参数推广。
Mar, 2023
本文研究了一类具有单隐藏层的不变和等变网络,并证明了其新的普适性定理。首先,本文提出了一种以代数理论为基础的证明方式。其次,本文将这一结果扩展到等变网络中,该领域的理论研究相对较少。最后,本文的结果表明,相同的参数可以在具有不同规模的图上近似实现一定的函数。
May, 2019