Dec, 2020

LieTransformer：李群中的等变自注意力

PDF
TL;DR本文提出了 LieTransformer，这是一种由 LieSelfAttention 层组成的网络结构，可以处理不同类型的 Lie 群及其离散子群的不变性，并通过实验表现出一定的竞争力，可以在点云形状计数、分子属性回归、粒子在哈密顿动力学下的轨迹建模等方面提升数据效率。
group equivariant neural networkslietransformerlieselfattentiondeep learning modelsdata efficiency
发现论文，激发创造
  • 等变神经网络的李群分解

    使用李群和李代数的结构与几何学，提出了一个框架，用来在大多数情况下处理几何变换的不规则群，重点关注李群 GL+(n, R) 和 SL (n, R)，以及它们作为仿射变换的表示。通过将 `较大的` 群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下，我们展示了如何参数化卷积核来构建关于仿射变换等变的模型，并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力，结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。

    Oct, 2023

  • 关注组等变卷积网络

    提出了一种基于视觉注意力机制的等变卷积方法 AGECN，解决了对称模式下位置和姿态关系不明确的问题，实现了对图像数据集的高效表征。

    Feb, 2020

  • 将卷积神经网络推广至任意连续数据上的李群等变

    该论文提出一种构建卷积层、使其对任何指定李群的变换具有等变性的通用方法，并展示了该方法在图像、分子数据和 Hamiltonian 系统等领域的应用。该方法特别适用于 Hamiltonian 系统，可以保持线性和角动量的精确守恒。

    Feb, 2020

  • 李代数卷积网络自动对称性发现

    在物理科学中，利用李代数卷积网络（L-conv）可以发现物理学和对称性之间的直接联系，并且 L-conv 可以作为构建任何等变前馈结构的构建模块。

    Sep, 2021

  • 关于纽约利群上等变神经网络的一般框架

    本文提出了一个通用的 Equivariant 神经网络架构，能够尊重任何减少 Lie 群 G 的有限维表示的对称性，并用于解决几个问题，例如高能物理学，量子力学，量子色动力学，形状识别，图像识别等。

    May, 2023

  • 等变换器即所需

    通过引入对称等变性注意力机制，我们将其应用于自学习蒙特卡洛方法，并在二维格上的自旋 - 费米模型中观察到类似于大型语言模型的缩放率的接受率，并克服了线性模型的低接受率。

    Oct, 2023

  • 群等变独立自注意力网络用于视觉

    提出了一种通用的自注意力公式来对任意对称群实现群等变性，通过定义对群考虑不变的位置编码来实现。GSA-Nets 可以通过群作用于位置编码的直接操作进行指导，实验证明 GSA-Nets 比非等变自注意网络具有一致的改进。

    Oct, 2020

  • 李代数 Lie 神经网络：伴随等变型的半单李代数神经网络

    本文提出了一个以李代数数据作为输入的伴随等变性神经网络，通过共轭描述变换基的变化，利用杀正则化的不变性特性，该网络是一个可适用于任意半单李代数的简单结构，可作为多层感知器的李代数推广，扩展了等变性特征学习的应用场景，并展示了在使用 sl (3) 李代数进行同态建模中的价值。

    Oct, 2023

  • 尺度 - 旋转 - 等变李群卷积神经网络 (Lie Group-CNNs)

    该研究提出了一种 Lie 群 - CNN 模型，利用群卷积模块的全连接网络和 Lie - 代数实现了尺度旋转等变性，进而成功地从图像中提取几何特征并实现了对图像的等变识别。

    Jun, 2023

  • 利用 Lie 导数测量学习到的等变性

    使用 Lie 莱标甲，文章研究了几百个预训练模型，证明即使在没有明确建构且具有对称性的设计的情况下，Transformers 也可以比 CNNs 更具有等变性。

    Oct, 2022