MMSep, 2023

线性神经网络的几何：对置等变性和不变性的研究

PDF
TL;DR线性全连接神经网络所参数化的函数集合是一个行列式变种。我们研究了在置换群的作用下等变或不变的函数子变种。对于这些等变或不变的子变种，我们提供了其维数、度数以及欧氏距离度数和奇点的明确描述。我们对任意置换群完全表征了不变性和循环群的等变性。我们对等变和不变的线性网络的参数化和设计提出了结论，如权重共享特性，并证明所有不变的线性函数可以通过线性自编码器进行学习。
发现论文，激发创造
  • 基于分割代数的排列等变层快速计算

    本文研究线性神经网络层，特别是在深度学习架构中核心的具有排列不变性或等变性的网络层；针对这一特性，作者对其进行了参数化以及基于对称群作用下的标准基元轨道的和来表示排列等变线性层；进一步，本文介绍了一种基于低秩张量分解计算的基元，该基元比轨道基元的计算代价更低，最后提出了一种算法来实现这些基元相乘。

    Mar, 2023

  • 等变神经网络的李群分解

    使用李群和李代数的结构与几何学，提出了一个框架，用来在大多数情况下处理几何变换的不规则群，重点关注李群 GL+(n, R) 和 SL (n, R)，以及它们作为仿射变换的表示。通过将 `较大的` 群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下，我们展示了如何参数化卷积核来构建关于仿射变换等变的模型，并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力，结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。

    Oct, 2023

  • 神经网络对不变映射的通用逼近

    我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射，以建立一种像网络一样的计算模型，能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造，通过引入中间多项式层，通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE（2）群的 “电荷守恒卷积” 模型，并证明其是连续 SE（2）等变信号变换的通用逼近器。

    Apr, 2018

  • 等变模型的普适性与对称性的可学习性之间的权衡

    使用等变函数作为认知模型的假设条件下，学习具有对称性和等变性的函数是不可能的；我们探究了群和半群的逼近概念，分析了线性等变网络和群卷积网络是否满足该结果，并阐述了它们的理论和实际意义。

    Oct, 2022

  • 概率对称和不变神经网络

    本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

    Jan, 2019

  • 不变和等变图网络

    本文提供了对（超）图数据的所有置换不变和等变线性层的表征，并展示了它们的维度，并计算出这些层的正交基，包括对多图数据的推广。同时，在简单的深度神经网络框架中应用这些新的线性层，可以获得比之前的不变性和等变性基础更好的表现，并且可以实现任何消息传递神经网络的近似。

    Dec, 2018

  • 深度神经网络对置换不变 / 等变函数的普适逼近

    本文研究了有限群 $G$ 的 $G$- 不变 / 等变函数与深度神经网络之间的关系，特别是对于给定的 $G$- 不变 / 等变函数，我们通过深度神经网络构建其通用逼近器，其中每层都具有 $G$- 作用，每个仿射变换都是 $G$- 等变 / 不变。由于表示论，我们可以证明这种逼近器具有比通常模型少得多的自由参数。

    Mar, 2019

  • 将卷积神经网络推广至任意连续数据上的李群等变

    该论文提出一种构建卷积层、使其对任何指定李群的变换具有等变性的通用方法，并展示了该方法在图像、分子数据和 Hamiltonian 系统等领域的应用。该方法特别适用于 Hamiltonian 系统，可以保持线性和角动量的精确守恒。

    Feb, 2020

  • 群等变神经网络的理论方面

    本文介绍了群等变神经网络及其在机器学习中的应用及理论，其中包括群表示理论、非交换调和分析和微分几何等内容，研究结果表明这些网络可以降低样本和模型的复杂性，在输入具有任意相对角度的挑战性任务中表现出色。

    Apr, 2020

  • 神经网络中的不变性学习

    该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

    Oct, 2020