对于机器学习模型的对称性和内部数据表示之间的关联，我们提出了本文中阐述的模型内联群的概念，通过相似实验，我们将内联群与具有相同架构的模型之间的隐藏状态相似性联系起来，从而更好地理解体系结构如何影响学习和预测过程。最后，我们猜测对于 ReLU 网络，内联群可能提供一种合理的解释为什么要在隐藏层中集中探索模型可解释性。

May, 2022

通过研究深度学习模型的架构和数据内在结构之间的关系，本文探讨了深度学习的理论基础，并通过实验和物理启发式玩具模型的结合，揭示了它们的内在工作原理，旨在填补理论与实践之间的鸿沟。

Oct, 2023

提供了将对称性引入机器学习模型的一种统一的理论和方法框架，包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。

Nov, 2023

对称性在当代神经网络中普遍存在，本文揭示了损失函数对学习模型的学习行为影响的重要性，证明了损失函数的每个镜像对称性都会带来一种结构约束，当权重衰减或梯度噪音较大时，这种约束成为一种被偏爱的解决方案。作为直接的推论，我们展示了重新缩放对称性导致稀疏性，旋转对称性导致低秩性，置换对称性导致同质集成。然后，我们展示了理论框架可以解释神经网络中可塑性的丧失和各种崩溃现象，并提出如何使用对称性来设计能够以可微分方式实施硬约束的算法建议。

Sep, 2023

该研究提出将对称性引入卷积神经网络中，从而提高其在预测物理动态方面的准确性和泛化能力，该方法在实验和理论上都表现出了对分布转换的鲁棒性，并且在雷利 - 贝纳对流和真实世界的海洋表现上比传统方法更优秀。

Feb, 2020

本篇论文探讨了使用主动推理方法中生成模型的潜在空间中如何出现特定物体的内在对称性，重点关注物体中心表示法，并借助主成分分析技术展示了模型在潜在空间中编码了物体主对称轴，最后指出更对称表示法的利用有助于操作任务的更好泛化。

Apr, 2023

本文提出了一种利用深度神经网络实现联合降维和 K-means 聚类的方法，通过学习非线性函数的深度神经网络，以期获得更好的聚类和降维效果。

Oct, 2016

通过梯度下降，我们研究了学习等变神经网络的问题。尽管已知的问题对称（“等变性”）被纳入神经网络中，经验上改善了从生物学到计算机视觉等领域的学习流程的性能，但是一项有关学习理论的研究表明，在相关统计查询模型（CSQ）中，实际学习浅层全连接（即非对称）网络的复杂度呈指数级增长。在这项工作中，我们提出了一个问题：已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难？我们的答案是否定的。特别地，我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界，这些下界在相关输入维度中都以超多项式或指数级增长。因此，尽管通过对称性注入了显著的归纳偏差，但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。

Jan, 2024

本研究针对深度网络权重空间中的对称性问题，探讨了使用基于单位范数的约束来改善权重空间对称性问题的方法，并通过 MNIST 数据集上的实验证明该方法优于批量归一化方法且不会影响权重更新的计算性能。

Nov, 2015

通过内在对称性的理论框架，使用有限差分法实现了在实践中使用的有限学习率的精确积分表达式来描述在任何数据集上通过深度学习训练出的当代网络体系结构的各种参数组合的学习动力学。

Dec, 2020