对称检测在各种机器学习任务中已经被证明可以提高性能。在连续对称性检测的背景下,现有的实验局限于对仿射变换的检测。根据流形假设,我们提出了一个用于发现超越仿射变换群的数据连续对称性的框架。我们还提供了一个类似的离散对称性的框架。我们通过实验将我们的方法与一种称为 LieGAN 的现有方法进行了比较,结果表明我们的方法在大样本量下能够有效检测仿射对称性,并且在小样本量下优于 LieGAN。我们还展示了我们的方法能够检测超越仿射群的连续对称性,并且通常比 LieGAN 更高效。
Jun, 2024
提供了将对称性引入机器学习模型的一种统一的理论和方法框架,包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。
Nov, 2023
对于建模原子尺度物质性质的模型,以对称性作为归纳偏差普遍被采用。然而,非对称模型也能从数据中学习对称性,并对模型准确性有益。本研究测试了一个仅近似满足旋转不变性的模型在模拟气相、液态和固态水的实际场景中的性能,发现其在插值、大体积情况下几乎无影响。即使在外推气相预测中,该模型仍然非常稳定,尽管有对称性伪迹存在。我们还讨论了系统减小对称性破缺程度的策略,并评估其对观测量收敛性的影响。
本文介绍了一种发现和表征数据集中未知对称性(Lie 群对称)的方法,旨在解决神经网络中进行对称性硬编码的问题,适用于模型选择、生成建模和数据分析等领域。
Jul, 2023
提出一种方法来提取神经网络学习的对称性并评估网络对其的不变性程度。结果表明网络的对称性普遍存在于不同的结构中,但学习到的对称性质量取决于深度和参数数量。
Oct, 2022
提出了一种能够从数据中发现非线性对称性的新颖生成模型 LaLiGAN,该模型可以将数据映射到特征空间,其中对称性变得线性,并同时在特征空间中发现对称性,理论上表明在某些条件下可以表达任何非线性对称性。实验结果显示,该方法可以捕捉到高维观测中的内在对称性,从而得到一个有用于其他下游任务的结构良好的特征空间。在各种动态系统的方程式发现和长期预测中展示了 LaLiGAN 的应用案例。
Sep, 2023
我们开发了一个统一的框架,通过线性和张量值函数的组合表达在各种子群中对称不变的函数,利用多臂老虎机算法和梯度下降优化线性和张量值函数,从而学习出对应的对称性。通过图像数字求和和多项式回归任务的实验,证明了我们方法的有效性。
通过对对称性的任务特定归纳偏差的明确合并,机器学习模型的高性能设计准则已经出现。
May, 2023
本文提出了一种基于正则化的方法,用于在具有混合近似对称性的数据集上构建模型,通过该方法可以依据每种对称性类型的等变正则化器训练模型,自动调整正则化器的强度,从而发现某些候选对称性类型的近似水平,同时在功能拟合和运动预测任务中展示了比以前的方法更高的精度。
Jun, 2023
本文探讨了在物理学和机器学习领域中,研究对称群等变机器学习结构所带来的深度投资和收益,并讨论了应用这些方法的潜在益处和限制以及对不同物理应用的各种评估指标。
Mar, 2022