研究探讨了 skip connection 对深层网络训练中的奇异点造成的影响，证明了 skip connection 可以消除这些奇异点，并在实验中得到了验证。

Jan, 2017

通过内在对称性的理论框架，使用有限差分法实现了在实践中使用的有限学习率的精确积分表达式来描述在任何数据集上通过深度学习训练出的当代网络体系结构的各种参数组合的学习动力学。

Dec, 2020

通过拉格朗日力学视角建立了理论基础探索神经网络的学习动态在设计原则方面的几何学原理，揭示了显式对称性破缺等机制为现代神经网络的高效性和稳定性的关键。

May, 2021

这篇研究论文指出，当神经网络的权值与偏差在临界线的值上初始化时，可以加速训练速度，并且在未经训练的前馈网络中，具有物理系统的临界点展现出的自相似的特性。

Jun, 2023

对称性在当代神经网络中普遍存在，本文揭示了损失函数对学习模型的学习行为影响的重要性，证明了损失函数的每个镜像对称性都会带来一种结构约束，当权重衰减或梯度噪音较大时，这种约束成为一种被偏爱的解决方案。作为直接的推论，我们展示了重新缩放对称性导致稀疏性，旋转对称性导致低秩性，置换对称性导致同质集成。然后，我们展示了理论框架可以解释神经网络中可塑性的丧失和各种崩溃现象，并提出如何使用对称性来设计能够以可微分方式实施硬约束的算法建议。

Sep, 2023

提供了将对称性引入机器学习模型的一种统一的理论和方法框架，包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。

Nov, 2023

对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而，在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制：它们无法针对单个数据样本进行对称性打破。为此，我们引入了一种新的“放松等变性”的概念来规避这一限制。我们进一步展示了如何将这种放松应用于等变多层感知机（E-MLPs），从而提供了一种与注入噪声方法相对的选择。随后，讨论了对称性打破在物理学、图表示学习、组合优化和等变解码等各个应用领域的相关性。

Dec, 2023

我们提出了一种全等变性的新颖对称性破缺框架，通过将一组对称性破缺对象输入网络来实现，最小化这些集合的大小等效于数据效率。我们证明了最小化这些集合相当于一个被广泛研究的群论问题，并提供了对点群问题的解决方案，通过一些破对称性的示例来展示我们的方法在实践中的工作原理。

Feb, 2024

对深度学习中的参数对称性进行了实证研究，通过引入具有降低参数对称性的新型神经网络架构，采用两种可证明保证的方法对标准神经网络进行改进，进行了多任务的全面实验研究，发现参数对称性对模型的影响，包括线性模式连接性和贝叶斯神经网络训练速度和效果的提升。

May, 2024

本研究探讨了神经网络优化中对称破缺这一重要概念的作用，填补了理论与实践之间的知识空白。通过简单的输入扩展方法，研究表明可以显著提升网络在多种任务中的性能，而这一提升与对称破缺机制密切相关。此外，我们提出了一种量化神经网络对称破缺程度的指标，为有效的网络设计提供了实用指导。

Sep, 2024