非线性谱滤波下的图上等变机器学习
图神经网络 (GNNs) 和欧几里德卷积神经网络 (CNNs) 的等变性对称性不同,本篇论文侧重于探讨 GNNs 的主动对称性,通过对信号在固定图上的支持进行学习,将近似对称性形式化为图粗化,提出了一个偏差 - 方差公式来量化损失表达性与学习估计的规则性之间的权衡,实验证明,选择比图自同构群大但小于全排列群的适当大的群可以达到最佳泛化性能。
Aug, 2023
本文介绍了一种新的模型来学习具有等变性的图神经网络,称为 EGNN,此方法不需要在中间层中计算昂贵的高阶表示,同时具有竞争力或更好的性能,在 3 维空间等变性上具有比现有方法更大的伸缩性,并在动态系统建模,图自编码器中的表征学习和预测分子性质方面证明了其有效性。
Feb, 2021
我们提出了一种将系数学习方案与残差操作器层结合起来的通用架构,用于在三维欧几里得空间中学习连续函数之间的映射。通过设计,我们的模型可以保证实现 SE (3)- 等变性。从图谱的观点来看,我们的方法可以被解释为在图上(具有无限多个节点的稠密图)上进行卷积,我们将其称为 InfGCN。通过利用输入数据的连续图结构和离散图结构,我们的模型可以有效地捕捉几何信息并保持等变性。通过在大规模电子密度数据集上进行广泛的实验证明,我们的模型明显优于当前最先进的架构。我们还进行了多项消融研究,以证明所提出的架构的有效性。
Nov, 2023
提出了神经傅里叶变换(NFT)的概念,它是一种无需显式知道组在数据上的作用方式就可以学习组的潜在线性作用的通用框架。论文通过实验结果展示了 NFT 在不同场景下的应用。
May, 2023
本研究论文探讨卷积神经网络在对称群中的应用,提出了群等变神经网络的概念和架构,以及使用多种层和滤波器的方法,为对称群的表示和胶囊的细节做出了数学分析。
Jan, 2023
该论文介绍了一种新兴的机器学习范式:学习高阶函数,特别是当这些函数的输入是神经网络时,尤其关注于与神经网络参数化中的排列对称性不同的扩展对称性,即缩放对称性。研究者提出了一种名为 ScaleGMNs 的框架,通过整合缩放对称性来使神经元和边的表示对于有效的缩放是等变的,并证明了它可以模拟任何输入前馈神经网络的前向和反向传递过程。实验结果表明,该方法在几个数据集和激活函数的性能上取得了领先的状态,突显了缩放对称性作为神经网络处理的一个归纳偏好的能力。
Jun, 2024
通过引入对称等变性注意力机制,我们将其应用于自学习蒙特卡洛方法,并在二维格上的自旋 - 费米模型中观察到类似于大型语言模型的缩放率的接受率,并克服了线性模型的低接受率。
Oct, 2023
本文提供了对(超)图数据的所有置换不变和等变线性层的表征,并展示了它们的维度,并计算出这些层的正交基,包括对多图数据的推广。同时,在简单的深度神经网络框架中应用这些新的线性层,可以获得比之前的不变性和等变性基础更好的表现,并且可以实现任何消息传递神经网络的近似。
Dec, 2018
本文研究了一类具有单隐藏层的不变和等变网络,并证明了其新的普适性定理。首先,本文提出了一种以代数理论为基础的证明方式。其次,本文将这一结果扩展到等变网络中,该领域的理论研究相对较少。最后,本文的结果表明,相同的参数可以在具有不同规模的图上近似实现一定的函数。
May, 2019
通过使用图神经网络作为替代模型,我们开发了一种基于机器学习的方法来准确快速地模拟软、多孔的机械变形材料以调节其机械性能,并通过预测全局物理量和模式变换来处理不同的微观结构。
Apr, 2024