通过梯度下降，我们研究了学习等变神经网络的问题。尽管已知的问题对称（“等变性”）被纳入神经网络中，经验上改善了从生物学到计算机视觉等领域的学习流程的性能，但是一项有关学习理论的研究表明，在相关统计查询模型（CSQ）中，实际学习浅层全连接（即非对称）网络的复杂度呈指数级增长。在这项工作中，我们提出了一个问题：已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难？我们的答案是否定的。特别地，我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界，这些下界在相关输入维度中都以超多项式或指数级增长。因此，尽管通过对称性注入了显著的归纳偏差，但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。

Jan, 2024

本文主要研究了定义在概率度量上的神经网络的学习和表示，通过研究不同正则化选择下的近似和泛化界限，建立了一个具有不同非线性学习程度的功能空间等级体系，从而解决了对称函数的泛化问题。

Aug, 2020

本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

Jan, 2019

该研究提出了一种新的均场框架用于超参数化深度神经网络的分析，利用概率分布和在连续极限下的功能来表示 DNN，并通过适当的重新参数化将其训练目标重新表述为凸优化问题，构建了一种称为神经特征流的非线性动力学来捕捉超参数化 DNN 的演化，证明了在均场区域中超参数化神经网络训练具有全局收敛性的首个全局收敛证明。

Jul, 2020

本文介绍了一种基于随机框架平均（SFA）的灵活框架，通过数据转换使任何模型 E（3）- 等变或不变，并提出了一个快速、表达力强且没有对称性约束设计的图神经网络 FAENet。我们在材料建模和常见分子建模任务中理论和实验表明了本方法的有效性和优越性。

Apr, 2023

通过参数对称性研究深度神经网络中的等变性。我们提出两种参数共享方案以在网络参数上引入所需的对称性，并确保对未在该对称群中的所有置换群敏感。

Feb, 2017

介绍了一种称为框架平均的通用框架，用于使现有神经网络体系结构对新的对称性类型具有不变性或等变性。该框架建立在团体平均算子之上，并通过使用小的子集来取代整个团的平均算子，从而保证较低的计算成本。通过使用框架平均，提出了一类称为通用图神经网络（GNNs）的新模型，实现了几个应用程序（包括点云正常估计、超越 2-WL 图分离和 N 体动力学预测），并达到了所有这些基准测试的最高成绩。

Oct, 2021

该论文介绍了一种新兴的机器学习范式：学习高阶函数，特别是当这些函数的输入是神经网络时，尤其关注于与神经网络参数化中的排列对称性不同的扩展对称性，即缩放对称性。研究者提出了一种名为 ScaleGMNs 的框架，通过整合缩放对称性来使神经元和边的表示对于有效的缩放是等变的，并证明了它可以模拟任何输入前馈神经网络的前向和反向传递过程。实验结果表明，该方法在几个数据集和激活函数的性能上取得了领先的状态，突显了缩放对称性作为神经网络处理的一个归纳偏好的能力。

Jun, 2024

对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而，在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制：它们无法针对单个数据样本进行对称性打破。为此，我们引入了一种新的 “放松等变性” 的概念来规避这一限制。我们进一步展示了如何将这种放松应用于等变多层感知机（E-MLPs），从而提供了一种与注入噪声方法相对的选择。随后，讨论了对称性打破在物理学、图表示学习、组合优化和等变解码等各个应用领域的相关性。

Dec, 2023

提出一种方法来提取神经网络学习的对称性并评估网络对其的不变性程度。结果表明网络的对称性普遍存在于不同的结构中，但学习到的对称性质量取决于深度和参数数量。

Oct, 2022