May, 2023

神经网络中线性群的学习

PDF
TL;DR本文介绍了一种神经网络的架构 —— 线性群网络 (LGNs)，其不需要提前规定对称性，在不需要监督或知道数据中隐藏的对称性的情况下，学习作用于神经网络权值空间上的线性群，并且可映射到机器学习中的已知操作。我们使用 LGNs 在多个数据集上学习群，并考虑不同的下游任务。结果表明，线性群结构取决于数据分布和所考虑的任务。
equivarianceneural networkslinear groupsparameter efficiencygeneralization performance
发现论文，激发创造
  • 研究学习的李群生成器 (LieGG)

    提出一种方法来提取神经网络学习的对称性并评估网络对其的不变性程度。结果表明网络的对称性普遍存在于不同的结构中，但学习到的对称性质量取决于深度和参数数量。

    Oct, 2022

  • 等变神经网络的李群分解

    使用李群和李代数的结构与几何学，提出了一个框架，用来在大多数情况下处理几何变换的不规则群，重点关注李群 GL+(n, R) 和 SL (n, R)，以及它们作为仿射变换的表示。通过将 `较大的` 群分解为子群和子流形来实现不变积分和全局参数化。在这个框架下，我们展示了如何参数化卷积核来构建关于仿射变换等变的模型，并在标准的仿射不变基准分类任务上评估了我们模型的鲁棒性和越域泛化能力，结果表明我们的模型优于所有先前的等变模型以及所有胶囊网络提议。

    Oct, 2023

  • 潜在空间对称性发现

    提出了一种能够从数据中发现非线性对称性的新颖生成模型 LaLiGAN，该模型可以将数据映射到特征空间，其中对称性变得线性，并同时在特征空间中发现对称性，理论上表明在某些条件下可以表达任何非线性对称性。实验结果显示，该方法可以捕捉到高维观测中的内在对称性，从而得到一个有用于其他下游任务的结构良好的特征空间。在各种动态系统的方程式发现和长期预测中展示了 LaLiGAN 的应用案例。

    Sep, 2023

  • 用神经网络学习李群对称变换

    本文介绍了一种发现和表征数据集中未知对称性（Lie 群对称）的方法，旨在解决神经网络中进行对称性硬编码的问题，适用于模型选择、生成建模和数据分析等领域。

    Jul, 2023

  • 关于纽约利群上等变神经网络的一般框架

    本文提出了一个通用的 Equivariant 神经网络架构，能够尊重任何减少 Lie 群 G 的有限维表示的对称性，并用于解决几个问题，例如高能物理学，量子力学，量子色动力学，形状识别，图像识别等。

    May, 2023

  • 近似等变图网络

    图神经网络 (GNNs) 和欧几里德卷积神经网络 (CNNs) 的等变性对称性不同，本篇论文侧重于探讨 GNNs 的主动对称性，通过对信号在固定图上的支持进行学习，将近似对称性形式化为图粗化，提出了一个偏差 - 方差公式来量化损失表达性与学习估计的规则性之间的权衡，实验证明，选择比图自同构群大但小于全排列群的适当大的群可以达到最佳泛化性能。

    Aug, 2023

  • 处理多样化神经结构的图元网络

    通过构建图形元网络，将权重从其他神经网络作为输入，我们的 Graph Metanetworks (GMNs) 方法解决了处理对称性和参数空间几何的困难，有效地推广到多种神经网络架构，并验证了其有效性。

    Dec, 2023

  • 线性等变网络的隐性偏差

    本文研究群等变卷积神经网络，在训练时隐式地通过具体的架构对模型进行正则化处理来实现其显式的对称性偏置，从而实现模型的推广。同时，文中还提出了傅里叶空间隐式正则化模型的解释，并通过实验证明了该模型的有效性。

    Oct, 2021

  • 自动使用梯度学习层间等变性

    卷积将等变对称性编码到神经网络中，从而提高泛化性能。为了允许灵活的对称约束，我们改进了软等变性的参数化，并通过优化边缘似然来学习层面的等变性。我们展示了在图像分类任务上自动学习层面等变性的能力，获得了与硬编码对称性基线相当或更好的性能。

    Oct, 2023

  • 等变可操控神经网络：对对称群的特别强调综述

    本研究论文探讨卷积神经网络在对称群中的应用，提出了群等变神经网络的概念和架构，以及使用多种层和滤波器的方法，为对称群的表示和胶囊的细节做出了数学分析。

    Jan, 2023