Sep, 2023

潜在空间对称性发现

PDF
TL;DR提出了一种能够从数据中发现非线性对称性的新颖生成模型 LaLiGAN，该模型可以将数据映射到特征空间，其中对称性变得线性，并同时在特征空间中发现对称性，理论上表明在某些条件下可以表达任何非线性对称性。实验结果显示，该方法可以捕捉到高维观测中的内在对称性，从而得到一个有用于其他下游任务的结构良好的特征空间。在各种动态系统的方程式发现和长期预测中展示了 LaLiGAN 的应用案例。
equivariant neural networkssymmetry discovery methodsnonlinear symmetrieslatent lieganhigh-dimensional observations
发现论文，激发创造
  • 李代数卷积网络自动对称性发现

    在物理科学中，利用李代数卷积网络（L-conv）可以发现物理学和对称性之间的直接联系，并且 L-conv 可以作为构建任何等变前馈结构的构建模块。

    Sep, 2021

  • 研究学习的李群生成器 (LieGG)

    提出一种方法来提取神经网络学习的对称性并评估网络对其的不变性程度。结果表明网络的对称性普遍存在于不同的结构中，但学习到的对称性质量取决于深度和参数数量。

    Oct, 2022

  • 自动使用梯度学习层间等变性

    卷积将等变对称性编码到神经网络中，从而提高泛化性能。为了允许灵活的对称约束，我们改进了软等变性的参数化，并通过优化边缘似然来学习层面的等变性。我们展示了在图像分类任务上自动学习层面等变性的能力，获得了与硬编码对称性基线相当或更好的性能。

    Oct, 2023

  • 用神经网络学习李群对称变换

    本文介绍了一种发现和表征数据集中未知对称性（Lie 群对称）的方法，旨在解决神经网络中进行对称性硬编码的问题，适用于模型选择、生成建模和数据分析等领域。

    Jul, 2023

  • 超越仿射变换的对称性发现

    对称检测在各种机器学习任务中已经被证明可以提高性能。在连续对称性检测的背景下，现有的实验局限于对仿射变换的检测。根据流形假设，我们提出了一个用于发现超越仿射变换群的数据连续对称性的框架。我们还提供了一个类似的离散对称性的框架。我们通过实验将我们的方法与一种称为 LieGAN 的现有方法进行了比较，结果表明我们的方法在大样本量下能够有效检测仿射对称性，并且在小样本量下优于 LieGAN。我们还展示了我们的方法能够检测超越仿射群的连续对称性，并且通常比 LieGAN 更高效。

    Jun, 2024

  • 在具有潜在对称性的领域中，等变模型的惊人有效性

    通过研究发现，即使强制施加不完全匹配于领域对称性的 equivariance 约束，也能显著提高机器学习环境中对真实对称性的学习效率和性能。在强制施加 extrinsic symmetry 的情况下，在具有潜在对称性的领域中，equivariant model 的表现优于 non-equivariant 方法。

    Nov, 2022

  • 机器学习中实施、发现和促进对称性的统一框架

    提供了将对称性引入机器学习模型的一种统一的理论和方法框架，包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。

    Nov, 2023

  • 等变神经网络的李群分解

    使用李群和李代数的结构与几何学，提出了一个框架，用来在大多数情况下处理几何变换的不规则群，重点关注李群 GL+(n, R) 和 SL (n, R)，以及它们作为仿射变换的表示。通过将 `较大的` 群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下，我们展示了如何参数化卷积核来构建关于仿射变换等变的模型，并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力，结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。

    Oct, 2023

  • 神经网络中线性群的学习

    本文介绍了一种神经网络的架构 —— 线性群网络 (LGNs)，其不需要提前规定对称性，在不需要监督或知道数据中隐藏的对称性的情况下，学习作用于神经网络权值空间上的线性群，并且可映射到机器学习中的已知操作。我们使用 LGNs 在多个数据集上学习群，并考虑不同的下游任务。结果表明，线性群结构取决于数据分布和所考虑的任务。

    May, 2023

  • 群等变生成对抗网络

    该研究采用群等变卷积网络采用显式诱导对称性先验，有效提高生成对抗网络中条件综合的表现，在对称成像数据集方面表现尤为显著。

    May, 2020