不变和等变图网络

ICLRDec, 2018

Invariant and Equivariant Graph Networks

Haggai Maron, Heli Ben-Hamu, Nadav Shamir, Yaron Lipman

TL;DR本文提供了对（超）图数据的所有置换不变和等变线性层的表征，并展示了它们的维度，并计算出这些层的正交基，包括对多图数据的推广。同时，在简单的深度神经网络框架中应用这些新的线性层，可以获得比之前的不变性和等变性基础更好的表现，并且可以实现任何消息传递神经网络的近似。

Abstract

Invariant and equivariant networks have been successfully used for learning images, sets, point clouds, and graphs. A basic challenge in developing such networks is finding the maximal collection of invariant and equivariant linear layers. Although this question is answered for the fir

invariant networks equivariant networks linear layers graph data neural networks

发现论文，激发创造

不变层用于具有不同类型节点的图

该论文研究了神经网络在输入排列不同时的不变性，针对异构图数据，提出了保留节点类型排列的线性层公式，实验表明该方法可以更有效地学习节点交互。并对张量层大小问题进行了探究，发现对于 $n$ 个节点的图数据，张量大小的上限为 $n$，优于之前的结果。

Feb, 2023

普适不变与等变图神经网络

本文研究了一类具有单隐藏层的不变和等变网络，并证明了其新的普适性定理。首先，本文提出了一种以代数理论为基础的证明方式。其次，本文将这一结果扩展到等变网络中，该领域的理论研究相对较少。最后，本文的结果表明，相同的参数可以在具有不同规模的图上近似实现一定的函数。

May, 2019

基于分割代数的排列等变层快速计算

本文研究线性神经网络层，特别是在深度学习架构中核心的具有排列不变性或等变性的网络层；针对这一特性，作者对其进行了参数化以及基于对称群作用下的标准基元轨道的和来表示排列等变线性层；进一步，本文介绍了一种基于低秩张量分解计算的基元，该基元比轨道基元的计算代价更低，最后提出了一种算法来实现这些基元相乘。

Mar, 2023

等距不变和等变图卷积网络

我们提出了一种基于图卷积网络的一组变换不变和等变模型，称为 IsoGCNs，并证明了该模型在几何和物理模拟数据相关任务上具有竞争性能.

May, 2020

基于等变性的图网络数据效率

通过引入一种新颖的图网络架构，它对于保持相邻节点距离的所有坐标嵌入的任何变换都具有等变性，特别是在 $n$- 维中具有欧几里得和共形正交群等变性，从而使得所提出的模型相对于传统图形架构更加数据高效，并且本质上配备了更好的归纳偏差。我们表明，通过少量数据的学习，我们提出的架构可以完全推广到合成问题中的未见数据，而标准模型需要更多的训练数据才能达到可比较的性能。

Jun, 2021

线性神经网络的几何：对置等变性和不变性的研究

线性全连接神经网络所参数化的函数集合是一个行列式变种。我们研究了在置换群的作用下等变或不变的函数子变种。对于这些等变或不变的子变种，我们提供了其维数、度数以及欧氏距离度数和奇点的明确描述。我们对任意置换群完全表征了不变性和循环群的等变性。我们对等变和不变的线性网络的参数化和设计提出了结论，如权重共享特性，并证明所有不变的线性函数可以通过线性自编码器进行学习。

Sep, 2023

三维等变图形隐式函数

本文提出了一种新型的图形隐式函数族，其具有等变层，可用于捕捉 3D 几何细节并保证对各种几何变换的鲁棒性，该方法在 ShapeNet 重建任务上比现有的旋转等变隐式函数从 0.69 提高到 0.89 (IoU)，并且可以推广到其他类型的相似变换，并且具有良好的泛化能力。

Mar, 2022

不变和等变图神经网络的表现能力

本文提出了一个理论框架，可以比较图神经网络架构的表达能力，证明了实用 GNN 的第一近似保证，FGNN 被证明是最具表现力的架构之一，在 Quadratic Assignment Problem 中的应用表明 FGNN 能够比现有的基于谱、SDP 或其他 GNN 架构的算法表现得更好。

Jun, 2020

E (n) 等变图神经网络

本文介绍了一种新的模型来学习具有等变性的图神经网络，称为 EGNN，此方法不需要在中间层中计算昂贵的高阶表示，同时具有竞争力或更好的性能，在 3 维空间等变性上具有比现有方法更大的伸缩性，并在动态系统建模，图自编码器中的表征学习和预测分子性质方面证明了其有效性。

Feb, 2021

神经网络对不变映射的通用逼近

我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射，以建立一种像网络一样的计算模型，能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造，通过引入中间多项式层，通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE（2）群的 “电荷守恒卷积” 模型，并证明其是连续 SE（2）等变信号变换的通用逼近器。

Apr, 2018