关于纽约利群上等变神经网络的一般框架
介绍一个新的概率模型,它针对紧致交换李群进行不变-等变和解开聚合表示数据。使用从物理学中借用的基本原理来定义解开概念。训练模型并表明学习到的不变表示对于分类非常有效。
Feb, 2014
该论文提出一种构建卷积层、使其对任何指定李群的变换具有等变性的通用方法,并展示了该方法在图像、分子数据和Hamiltonian系统等领域的应用。该方法特别适用于Hamiltonian系统,可以保持线性和角动量的精确守恒。
Feb, 2020
本文提出了LieTransformer,这是一种由LieSelfAttention层组成的网络结构,可以处理不同类型的Lie群及其离散子群的不变性,并通过实验表现出一定的竞争力,可以在点云形状计数、分子属性回归、粒子在哈密顿动力学下的轨迹建模等方面提升数据效率。
Dec, 2020
介绍了一种新的方法:Clifford Group Equivariant Neural Networks。从Clifford代数中识别和研究Clifford group子群,形成了一个直接在向量基础上运算、高效推广到任意维数的Equivariant Neural Network层。从三维N体实验、四维Lorentz-equivariant高能物理实验到五维凸包实验都获得了最新的技术成果。
May, 2023
使用李群和李代数的结构与几何学,提出了一个框架,用来在大多数情况下处理几何变换的不规则群,重点关注李群 GL+(n, R) 和 SL(n, R),以及它们作为仿射变换的表示。通过将`较大的`群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下,我们展示了如何参数化卷积核来构建关于仿射变换等变的模型,并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力,结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。
Oct, 2023
本研究解决了在偏微分方程求解器中直接实现等变性模型架构的难题,尤其是在非紧致对称群的情况下。提出的李代数标准化(LieLAC)方法仅利用对称群的无穷小生成元的作用,避免了对全群结构的要求,从而实现了与现有无约束预训练模型的有效整合。实验结果表明,LieLAC在不变图像分类和李点对称等变神经偏微分方程求解中展现了显著的效果。
Oct, 2024