Oct, 2023

等变神经网络的李群分解

HTML
PDF
TL;DR使用李群和李代数的结构与几何学，提出了一个框架，用来在大多数情况下处理几何变换的不规则群，重点关注李群 GL+(n, R) 和 SL(n, R)，以及它们作为仿射变换的表示。通过将`较大的`群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下，我们展示了如何参数化卷积核来构建关于仿射变换等变的模型，并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力，结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。
发现论文，激发创造
  • 将卷积神经网络推广至任意连续数据上的李群等变

    该论文提出一种构建卷积层、使其对任何指定李群的变换具有等变性的通用方法，并展示了该方法在图像、分子数据和Hamiltonian系统等领域的应用。该方法特别适用于Hamiltonian系统，可以保持线性和角动量的精确守恒。

    Feb, 2020

  • 群等变神经网络的理论方面

    本文介绍了群等变神经网络及其在机器学习中的应用及理论，其中包括群表示理论、非交换调和分析和微分几何等内容，研究结果表明这些网络可以降低样本和模型的复杂性，在输入具有任意相对角度的挑战性任务中表现出色。

    Apr, 2020

  • LieTransformer：李群中的等变自注意力

    本文提出了LieTransformer，这是一种由LieSelfAttention层组成的网络结构，可以处理不同类型的Lie群及其离散子群的不变性，并通过实验表现出一定的竞争力，可以在点云形状计数、分子属性回归、粒子在哈密顿动力学下的轨迹建模等方面提升数据效率。

    Dec, 2020

  • 群等变条件神经过程

    本文提出了一种具有置换不变性和数据空间变换等变性的元学习方法 EQuivCNP，其建立在数据集的置换不变性与常规条件神经过程（CNPs）相同，且具有转换等变性；结合群等变性提供了考虑现实世界中的数据对称性的方式，并使用李群卷积层构建体系结构进行实际实现，EquivCNP 在具有等变性的情况下能够实现零样本泛化。

    Feb, 2021

  • 任意Lie群的等变性能实现

    本文介绍了一种使用李群上的卷积（group convolutions over Lie groups）来实现任何形变的不变性的严谨数学框架，经实验证明在具有仿射不变性的分类任务中，我们的方法比传统CNN提高了30％的准确性，同时优于大多数CapsNets。

    Nov, 2021

  • 等变模型的普适性与对称性的可学习性之间的权衡

    使用等变函数作为认知模型的假设条件下，学习具有对称性和等变性的函数是不可能的；我们探究了群和半群的逼近概念，分析了线性等变网络和群卷积网络是否满足该结果，并阐述了它们的理论和实际意义。

    Oct, 2022

  • 关于纽约利群上等变神经网络的一般框架

    本文提出了一个通用的Equivariant神经网络架构，能够尊重任何减少Lie群G的有限维表示的对称性，并用于解决几个问题，例如高能物理学，量子力学，量子色动力学，形状识别，图像识别等。

    May, 2023

  • 线性神经网络的几何：对置等变性和不变性的研究

    线性全连接神经网络所参数化的函数集合是一个行列式变种。我们研究了在置换群的作用下等变或不变的函数子变种。对于这些等变或不变的子变种，我们提供了其维数、度数以及欧氏距离度数和奇点的明确描述。我们对任意置换群完全表征了不变性和循环群的等变性。我们对等变和不变的线性网络的参数化和设计提出了结论，如权重共享特性，并证明所有不变的线性函数可以通过线性自编码器进行学习。

    Sep, 2023

  • 通过不变映射分解等变映射：对称下的通用逼近应用

    本文研究了不变映射与等变映射之间的关系，填补了群体对称性深度神经网络理解的空白。通过建立二者之间的一一对应关系，提出了一种基于不变网络构建通用等变结构的新方法，并探索了其复杂性及与标准等变结构的差异。这项研究为等变深度神经网络的构造和优化提供了重要见解。

    Sep, 2024

  • 李代数标准化：任意李群下的等变神经算子

    本研究解决了在偏微分方程求解器中直接实现等变性模型架构的难题，尤其是在非紧致对称群的情况下。提出的李代数标准化（LieLAC）方法仅利用对称群的无穷小生成元的作用，避免了对全群结构的要求，从而实现了与现有无约束预训练模型的有效整合。实验结果表明，LieLAC在不变图像分类和李点对称等变神经偏微分方程求解中展现了显著的效果。

    Oct, 2024