不变 / 等变图神经网络普适性的简单证明
本文研究了一类具有单隐藏层的不变和等变网络,并证明了其新的普适性定理。首先,本文提出了一种以代数理论为基础的证明方式。其次,本文将这一结果扩展到等变网络中,该领域的理论研究相对较少。最后,本文的结果表明,相同的参数可以在具有不同规模的图上近似实现一定的函数。
May, 2019
我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射,以建立一种像网络一样的计算模型,能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造,通过引入中间多项式层,通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE(2)群的 “电荷守恒卷积” 模型,并证明其是连续 SE(2)等变信号变换的通用逼近器。
Apr, 2018
本文提出了一个理论框架,可以比较图神经网络架构的表达能力,证明了实用 GNN 的第一近似保证,FGNN 被证明是最具表现力的架构之一,在 Quadratic Assignment Problem 中的应用表明 FGNN 能够比现有的基于谱、SDP 或其他 GNN 架构的算法表现得更好。
Jun, 2020
本文介绍了一种新的模型来学习具有等变性的图神经网络,称为 EGNN,此方法不需要在中间层中计算昂贵的高阶表示,同时具有竞争力或更好的性能,在 3 维空间等变性上具有比现有方法更大的伸缩性,并在动态系统建模,图自编码器中的表征学习和预测分子性质方面证明了其有效性。
Feb, 2021
本文提供了对(超)图数据的所有置换不变和等变线性层的表征,并展示了它们的维度,并计算出这些层的正交基,包括对多图数据的推广。同时,在简单的深度神经网络框架中应用这些新的线性层,可以获得比之前的不变性和等变性基础更好的表现,并且可以实现任何消息传递神经网络的近似。
Dec, 2018
将诱导偏差引入机器学习模型是机器学习研究的一个活动领域,特别是当机器学习模型被应用于关于物理世界的数据时。本文从相关的等变网络的文献中汲取灵感,通过使用真实世界的粒子物理重建任务作为评估测试平台,全面评价了等变图神经网络的提议的好处。我们证明了许多通常与等变网络相关联的理论优点在实际系统中可能不成立,并介绍了未来研究的有吸引力的方向,这将有利于机器学习的科学理论和物理应用。
Nov, 2023
本文探讨了利用群论的工具证明了广泛类的等变多层感知器的普适性,其中在正则作用下拥有隐藏层足以保证等变性,并且给出了具有高阶隐藏层的等变多层感知器的普适性的普适条件。
Feb, 2020
本研究探讨了群变换对神经网络中的线性层进行限制是否可以使其逼近任意(连续)不变函数,结果表明高阶张量可以实现该功能,且存在一些群需要高阶张量才能实现,研究得出了只使用一阶张量的 G 不变网络普适性的必要条件。
Jan, 2019