通过内在对称性的理论框架，使用有限差分法实现了在实践中使用的有限学习率的精确积分表达式来描述在任何数据集上通过深度学习训练出的当代网络体系结构的各种参数组合的学习动力学。

Dec, 2020

通过将对称性破缺的场论应用于损失函数存在连续对称性而被随机初始化破缺的机器学习模型中，我们展示了在时间序列模型中的 “带电” 嵌入矢量的规范理论，利用超导和对称性破缺在时间表示学习中之间的相似性，使得损失函数规范不变可以加速模型收敛。

Jul, 2019

对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而，在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制：它们无法针对单个数据样本进行对称性打破。为此，我们引入了一种新的 “放松等变性” 的概念来规避这一限制。我们进一步展示了如何将这种放松应用于等变多层感知机（E-MLPs），从而提供了一种与注入噪声方法相对的选择。随后，讨论了对称性打破在物理学、图表示学习、组合优化和等变解码等各个应用领域的相关性。

Dec, 2023

对称性在当代神经网络中普遍存在，本文揭示了损失函数对学习模型的学习行为影响的重要性，证明了损失函数的每个镜像对称性都会带来一种结构约束，当权重衰减或梯度噪音较大时，这种约束成为一种被偏爱的解决方案。作为直接的推论，我们展示了重新缩放对称性导致稀疏性，旋转对称性导致低秩性，置换对称性导致同质集成。然后，我们展示了理论框架可以解释神经网络中可塑性的丧失和各种崩溃现象，并提出如何使用对称性来设计能够以可微分方式实施硬约束的算法建议。

Sep, 2023

本文通过应用 Hamilton 神经网络来学习和利用物理系统中保守量的对称约束，通过适当的损失函数来实现周期坐标的强制，从而在简单的经典动力学任务中实现了更高的准确性，进而拟合出网络中的隐向量的解析式，从中发现利用了保守量，如角动量。

Apr, 2021

本文的重点是将物理约束嵌入神经网络的结构中，以解决神经网络在物理应用中缺乏可解释性和物理不可知设计的问题，通过限制可调参数并添加特殊层，保证所需约束不需要显式正则化项即可满足，为解决函数的奇偶对称性和能量守恒问题提出了监督和非监督网络，并提出了一种嵌入所谓辛结构的无监督神经网络解决系统的守恒微分方程，表现出比非辛神经网络更好的性能。

Apr, 2019

通过梯度下降，我们研究了学习等变神经网络的问题。尽管已知的问题对称（“等变性”）被纳入神经网络中，经验上改善了从生物学到计算机视觉等领域的学习流程的性能，但是一项有关学习理论的研究表明，在相关统计查询模型（CSQ）中，实际学习浅层全连接（即非对称）网络的复杂度呈指数级增长。在这项工作中，我们提出了一个问题：已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难？我们的答案是否定的。特别地，我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界，这些下界在相关输入维度中都以超多项式或指数级增长。因此，尽管通过对称性注入了显著的归纳偏差，但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。

Jan, 2024

提供了将对称性引入机器学习模型的一种统一的理论和方法框架，包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。

Nov, 2023

基于等变量量子神经网络（EQNN）的几何量子机器学习是量子机器学习中的一个有前景的方向，本文研究了 EQNN 模型在噪声存在下的行为，通过数值模拟和高达 64 比特的硬件实验支持实验的结果，并提出了在噪声存在时增强 EQNN 模型对称性保护的策略。

Jan, 2024

对于建模原子尺度物质性质的模型，以对称性作为归纳偏差普遍被采用。然而，非对称模型也能从数据中学习对称性，并对模型准确性有益。本研究测试了一个仅近似满足旋转不变性的模型在模拟气相、液态和固态水的实际场景中的性能，发现其在插值、大体积情况下几乎无影响。即使在外推气相预测中，该模型仍然非常稳定，尽管有对称性伪迹存在。我们还讨论了系统减小对称性破缺程度的策略，并评估其对观测量收敛性的影响。

Jun, 2024