ICLRJan, 2024

具有点线激活的等变网络的表征定理

PDF
TL;DR等变神经网络在对称域上显示出了改进的性能、表现力和样本复杂度，但对于某些特定的对称性、表示和坐标选择，常见的逐点激活（如 ReLU）不能实现等变性，则无法用于等变神经网络的设计。本文中我们提出的定理描述了所有可能的有限维表示、坐标选择和逐点激活的组合，以获得完全等变的层，这样可以广义地推广和加强现有的特征。值得注意的是，实际相关的特殊情况被作为必要的推论进行了讨论。事实上，我们证明旋转等变网络只能是不变的，因为对于任何与连通紧致群等变的网络来说都是如此。然后，我们讨论了当应用于恰好等变网络的重要实例时，我们的研究结果的影响。首先，我们对诸如具有逐点非线性和几何对应物的不变图网络之类的置换等变网络进行了完全表征，突出了一大批具有尚不清楚的表现能力和性能的模型。其次，我们表明了解离可操作卷积神经网络的特征空间是平凡表示。
equivariant neural networkssymmetrical domainspoint-wise activationscharacterizationsdisentangled steerable convolutional neural networks
发现论文，激发创造
  • 不变和等变图网络

    本文提供了对（超）图数据的所有置换不变和等变线性层的表征，并展示了它们的维度，并计算出这些层的正交基，包括对多图数据的推广。同时，在简单的深度神经网络框架中应用这些新的线性层，可以获得比之前的不变性和等变性基础更好的表现，并且可以实现任何消息传递神经网络的近似。

    Dec, 2018

  • 神经网络对不变映射的通用逼近

    我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射，以建立一种像网络一样的计算模型，能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造，通过引入中间多项式层，通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE（2）群的 “电荷守恒卷积” 模型，并证明其是连续 SE（2）等变信号变换的通用逼近器。

    Apr, 2018

  • 关于旋转等变点云网络的普适性

    研究点云上函数学习的神经网络结构具有形状不变性，首先推导出两个充分条件以获得普适逼近性能，在此基础上设计了两个新的普适网络结构。

    Oct, 2020

  • 关于普适等变集合网络

    证明了一个新的结构 PointNetST，可以用于学习等变集合函数， 并且相较于现有结构更加简单易懂，同时提出并验证了多种置换等变模型。

    Oct, 2019

  • 探究 ReLU 网络如何编码对称性

    本研究探讨网络等变性是否意味着所有层都具有等变性。论文在理论和实验方面发现，CNN 是具有层间等变性的，这一发现支持最近 Entezari 及其合作者提出的置换猜想的一个弱化版本

    May, 2023

  • 线性神经网络的几何：对置等变性和不变性的研究

    线性全连接神经网络所参数化的函数集合是一个行列式变种。我们研究了在置换群的作用下等变或不变的函数子变种。对于这些等变或不变的子变种，我们提供了其维数、度数以及欧氏距离度数和奇点的明确描述。我们对任意置换群完全表征了不变性和循环群的等变性。我们对等变和不变的线性网络的参数化和设计提出了结论，如权重共享特性，并证明所有不变的线性函数可以通过线性自编码器进行学习。

    Sep, 2023

  • 普适不变与等变图神经网络

    本文研究了一类具有单隐藏层的不变和等变网络，并证明了其新的普适性定理。首先，本文提出了一种以代数理论为基础的证明方式。其次，本文将这一结果扩展到等变网络中，该领域的理论研究相对较少。最后，本文的结果表明，相同的参数可以在具有不同规模的图上近似实现一定的函数。

    May, 2019

  • 等变可操控神经网络：对对称群的特别强调综述

    本研究论文探讨卷积神经网络在对称群中的应用，提出了群等变神经网络的概念和架构，以及使用多种层和滤波器的方法，为对称群的表示和胶囊的细节做出了数学分析。

    Jan, 2023

  • 概率对称和不变神经网络

    本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

    Jan, 2019

  • 基于傅里叶变换的同变网络同构空间中的核与非线性设计

    从 Fourier 角度出发，我们在同质空间上引入了一种统一的群等变网络框架，其中考虑了张量值特征场及其卷积层前后的特征，通过利用提升特征场的 Fourier 系数的稀疏性，通过 Fourier 域统一推导卷积核并实现非线性激活，该方法在 spherical vector field regression、point cloud classification 和 molecular completion 等任务中达到了最先进的性能水平。

    Jun, 2022