对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而，在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制：它们无法针对单个数据样本进行对称性打破。为此，我们引入了一种新的 “放松等变性” 的概念来规避这一限制。我们进一步展示了如何将这种放松应用于等变多层感知机（E-MLPs），从而提供了一种与注入噪声方法相对的选择。随后，讨论了对称性打破在物理学、图表示学习、组合优化和等变解码等各个应用领域的相关性。

Dec, 2023

本研究论文探讨卷积神经网络在对称群中的应用，提出了群等变神经网络的概念和架构，以及使用多种层和滤波器的方法，为对称群的表示和胶囊的细节做出了数学分析。

Jan, 2023

本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

Feb, 2021

本文主要研究了定义在概率度量上的神经网络的学习和表示，通过研究不同正则化选择下的近似和泛化界限，建立了一个具有不同非线性学习程度的功能空间等级体系，从而解决了对称函数的泛化问题。

Aug, 2020

我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射，以建立一种像网络一样的计算模型，能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造，通过引入中间多项式层，通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE（2）群的 “电荷守恒卷积” 模型，并证明其是连续 SE（2）等变信号变换的通用逼近器。

Apr, 2018

通过梯度下降，我们研究了学习等变神经网络的问题。尽管已知的问题对称（“等变性”）被纳入神经网络中，经验上改善了从生物学到计算机视觉等领域的学习流程的性能，但是一项有关学习理论的研究表明，在相关统计查询模型（CSQ）中，实际学习浅层全连接（即非对称）网络的复杂度呈指数级增长。在这项工作中，我们提出了一个问题：已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难？我们的答案是否定的。特别地，我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界，这些下界在相关输入维度中都以超多项式或指数级增长。因此，尽管通过对称性注入了显著的归纳偏差，但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。

Jan, 2024

通过使用一种小型等变网络将概率分布参数化为对称化并对基模型进行端到端训练，本研究提出了一种新的框架来克服等变体系结构在学习具有群对称性的函数方面的局限性。

Jun, 2023

使用等变函数作为认知模型的假设条件下，学习具有对称性和等变性的函数是不可能的；我们探究了群和半群的逼近概念，分析了线性等变网络和群卷积网络是否满足该结果，并阐述了它们的理论和实际意义。

Oct, 2022

本文探讨了在物理学和机器学习领域中，研究对称群等变机器学习结构所带来的深度投资和收益，并讨论了应用这些方法的潜在益处和限制以及对不同物理应用的各种评估指标。

Mar, 2022

本文介绍了群等变神经网络及其在机器学习中的应用及理论，其中包括群表示理论、非交换调和分析和微分几何等内容，研究结果表明这些网络可以降低样本和模型的复杂性，在输入具有任意相对角度的挑战性任务中表现出色。

Apr, 2020