探究机器学习中破坏对称性的影响

Jun, 2024

探究机器学习中破坏对称性的影响

Probing the effects of broken symmetries in machine learning

Marcel F. Langer, Sergey N. Pozdnyakov, Michele Ceriotti

TL;DR对于建模原子尺度物质性质的模型，以对称性作为归纳偏差普遍被采用。然而，非对称模型也能从数据中学习对称性，并对模型准确性有益。本研究测试了一个仅近似满足旋转不变性的模型在模拟气相、液态和固态水的实际场景中的性能，发现其在插值、大体积情况下几乎无影响。即使在外推气相预测中，该模型仍然非常稳定，尽管有对称性伪迹存在。我们还讨论了系统减小对称性破缺程度的策略，并评估其对观测量收敛性的影响。

Abstract

symmetry is one of the most central concepts in physics, and it is no surprise that it has also been widely adopted as an inductive bias for machine-learning models applied to the physical sciences. This is especially true for models targeting the properties of matter at the atomic sca

symmetry machine learning equivariance physical observables symmetry breaking

发现论文，激发创造

物理学的对称群等变架构

本文探讨了在物理学和机器学习领域中，研究对称群等变机器学习结构所带来的深度投资和收益，并讨论了应用这些方法的潜在益处和限制以及对不同物理应用的各种评估指标。

Mar, 2022

机器学习中实施、发现和促进对称性的统一框架

提供了将对称性引入机器学习模型的一种统一的理论和方法框架，包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。

Nov, 2023

对称破缺与等变神经网络

对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而，在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制：它们无法针对单个数据样本进行对称性打破。为此，我们引入了一种新的 “放松等变性” 的概念来规避这一限制。我们进一步展示了如何将这种放松应用于等变多层感知机（E-MLPs），从而提供了一种与注入噪声方法相对的选择。随后，讨论了对称性打破在物理学、图表示学习、组合优化和等变解码等各个应用领域的相关性。

Dec, 2023

变分量子机器学习中的对称性利用

本研究探讨了如何利用问题的对称性构建量子学习模型，并提出了一种通过门对称化将标准门集转换为等变门集的方法，在具有对称性结构的变分问题中得到了应用。

May, 2022

对称性引导学习的结构约束

对称性在当代神经网络中普遍存在，本文揭示了损失函数对学习模型的学习行为影响的重要性，证明了损失函数的每个镜像对称性都会带来一种结构约束，当权重衰减或梯度噪音较大时，这种约束成为一种被偏爱的解决方案。作为直接的推论，我们展示了重新缩放对称性导致稀疏性，旋转对称性导致低秩性，置换对称性导致同质集成。然后，我们展示了理论框架可以解释神经网络中可塑性的丧失和各种崩溃现象，并提出如何使用对称性来设计能够以可微分方式实施硬约束的算法建议。

Sep, 2023

对称变换的生成模型

构建一个能够明确捕捉数据中对称性的生成模型，以便以可解释的方式学习存在的对称性，并结合现有生成模型提高边际测试日志似然和对数据稀疏化的鲁棒性。

Mar, 2024

（近似）群等变性下的逼近 - 泛化平衡

通过对对称性的任务特定归纳偏差的明确合并，机器学习模型的高性能设计准则已经出现。

May, 2023

表征学习的量子场论

通过将对称性破缺的场论应用于损失函数存在连续对称性而被随机初始化破缺的机器学习模型中，我们展示了在时间序列模型中的 “带电” 嵌入矢量的规范理论，利用超导和对称性破缺在时间表示学习中之间的相似性，使得损失函数规范不变可以加速模型收敛。

Jul, 2019

神经参数的对称性或不对称性的实证影响

对深度学习中的参数对称性进行了实证研究，通过引入具有降低参数对称性的新型神经网络架构，采用两种可证明保证的方法对标准神经网络进行改进，进行了多任务的全面实验研究，发现参数对称性对模型的影响，包括线性模式连接性和贝叶斯神经网络训练速度和效果的提升。

May, 2024

在具有潜在对称性的领域中，等变模型的惊人有效性

通过研究发现，即使强制施加不完全匹配于领域对称性的 equivariance 约束，也能显著提高机器学习环境中对真实对称性的学习效率和性能。在强制施加 extrinsic symmetry 的情况下，在具有潜在对称性的领域中，equivariant model 的表现优于 non-equivariant 方法。

Nov, 2022