对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而，在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制：它们无法针对单个数据样本进行对称性打破。为此，我们引入了一种新的 “放松等变性” 的概念来规避这一限制。我们进一步展示了如何将这种放松应用于等变多层感知机（E-MLPs），从而提供了一种与注入噪声方法相对的选择。随后，讨论了对称性打破在物理学、图表示学习、组合优化和等变解码等各个应用领域的相关性。

Dec, 2023

通过对对称性的任务特定归纳偏差的明确合并，机器学习模型的高性能设计准则已经出现。

May, 2023

提出了一种能够从数据中发现非线性对称性的新颖生成模型 LaLiGAN，该模型可以将数据映射到特征空间，其中对称性变得线性，并同时在特征空间中发现对称性，理论上表明在某些条件下可以表达任何非线性对称性。实验结果显示，该方法可以捕捉到高维观测中的内在对称性，从而得到一个有用于其他下游任务的结构良好的特征空间。在各种动态系统的方程式发现和长期预测中展示了 LaLiGAN 的应用案例。

Sep, 2023

本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

Jan, 2019

本文提出了一种基于正则化的方法，用于在具有混合近似对称性的数据集上构建模型，通过该方法可以依据每种对称性类型的等变正则化器训练模型，自动调整正则化器的强度，从而发现某些候选对称性类型的近似水平，同时在功能拟合和运动预测任务中展示了比以前的方法更高的精度。

Jun, 2023

我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性，并探讨了对网络性能的影响。我们发现，即使输入维度只有一个像素的微小变化，常用的架构也会变得近似等变，而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时，近似等变网络能够放松其等变性约束，并在常见的基准数据集上与或胜过完全等变网络。

Aug, 2023

这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法，而非人为设计具有相应等变性质的架构，其通过学习相应的参数共享模式来实现对等变性的学习及编码，并且结果显示其成功替代了传统手动构建深度学习架构的方法。

Jul, 2020

本文探讨了在物理学和机器学习领域中，研究对称群等变机器学习结构所带来的深度投资和收益，并讨论了应用这些方法的潜在益处和限制以及对不同物理应用的各种评估指标。

Mar, 2022

在这篇论文中，我们展示了在使用潜在表示时应考虑的等变模型对归纳偏好的作用，并表明不考虑归纳偏好会导致下游任务的性能降低，相反，通过使用潜在表示的不变投影来有效地考虑归纳偏好，我们提出了选择这种投影的原则，并通过两个常见的例子展示了这些原则的影响：首先，我们研究了用于分子图形生成的置换等变变分自编码器；在这里，我们展示了可以设计一种不变投影，在结果不变表示中没有信息损失。接下来，我们研究了用于图像分类的旋转等变表示；在这里，我们说明了如何使用随机不变投影来获得一个在保留大量信息的不变表示。在这两种情况下，对不变潜在表示的分析证明优于它们的等变对应物。最后，我们证明了等变神经网络中记录的现象在通过数据增强鼓励不变性的标准神经网络中也存在。因此，虽然有经验的等变模型开发人员可能已经知道这些歧义，但我们将这些知识和处理这些歧义的有效工具提供给更广泛的社区。

Jan, 2024

通过使用已有的等变体系结构，我们在构建神经过程中使用近似等变性的方法，证明了该模型在合成和真实回归实验中的有效性。

Jun, 2024