李代数卷积网络自动对称性发现
该论文提出一种构建卷积层、使其对任何指定李群的变换具有等变性的通用方法,并展示了该方法在图像、分子数据和 Hamiltonian 系统等领域的应用。该方法特别适用于 Hamiltonian 系统,可以保持线性和角动量的精确守恒。
Feb, 2020
使用李群和李代数的结构与几何学,提出了一个框架,用来在大多数情况下处理几何变换的不规则群,重点关注李群 GL+(n, R) 和 SL (n, R),以及它们作为仿射变换的表示。通过将 `较大的` 群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下,我们展示了如何参数化卷积核来构建关于仿射变换等变的模型,并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力,结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。
Oct, 2023
该研究提出了一种 Lie 群 - CNN 模型,利用群卷积模块的全连接网络和 Lie - 代数实现了尺度旋转等变性,进而成功地从图像中提取几何特征并实现了对图像的等变识别。
Jun, 2023
提出了一种能够从数据中发现非线性对称性的新颖生成模型 LaLiGAN,该模型可以将数据映射到特征空间,其中对称性变得线性,并同时在特征空间中发现对称性,理论上表明在某些条件下可以表达任何非线性对称性。实验结果显示,该方法可以捕捉到高维观测中的内在对称性,从而得到一个有用于其他下游任务的结构良好的特征空间。在各种动态系统的方程式发现和长期预测中展示了 LaLiGAN 的应用案例。
Sep, 2023
本文介绍了一种使用李群上的卷积(group convolutions over Lie groups)来实现任何形变的不变性的严谨数学框架,经实验证明在具有仿射不变性的分类任务中,我们的方法比传统 CNN 提高了 30%的准确性,同时优于大多数 CapsNets。
Nov, 2021
在这篇论文中,我们提出了一种基于 B 样条的模块化框架,用于在任意 Lie 群中设计和实现 G-CNNs 的方法,并在两个基准数据集上研究其影响和潜力。
Sep, 2019
本文提出了 LieTransformer,这是一种由 LieSelfAttention 层组成的网络结构,可以处理不同类型的 Lie 群及其离散子群的不变性,并通过实验表现出一定的竞争力,可以在点云形状计数、分子属性回归、粒子在哈密顿动力学下的轨迹建模等方面提升数据效率。
Dec, 2020
提出一种方法来提取神经网络学习的对称性并评估网络对其的不变性程度。结果表明网络的对称性普遍存在于不同的结构中,但学习到的对称性质量取决于深度和参数数量。
Oct, 2022
卷积将等变对称性编码到神经网络中,从而提高泛化性能。为了允许灵活的对称约束,我们改进了软等变性的参数化,并通过优化边缘似然来学习层面的等变性。我们展示了在图像分类任务上自动学习层面等变性的能力,获得了与硬编码对称性基线相当或更好的性能。
Oct, 2023
本文提出了一个以李代数数据作为输入的伴随等变性神经网络,通过共轭描述变换基的变化,利用杀正则化的不变性特性,该网络是一个可适用于任意半单李代数的简单结构,可作为多层感知器的李代数推广,扩展了等变性特征学习的应用场景,并展示了在使用 sl (3) 李代数进行同态建模中的价值。
Oct, 2023