利用神经网络检测对称性
提出一种方法来提取神经网络学习的对称性并评估网络对其的不变性程度。结果表明网络的对称性普遍存在于不同的结构中,但学习到的对称性质量取决于深度和参数数量。
Oct, 2022
本文的重点是将物理约束嵌入神经网络的结构中,以解决神经网络在物理应用中缺乏可解释性和物理不可知设计的问题,通过限制可调参数并添加特殊层,保证所需约束不需要显式正则化项即可满足,为解决函数的奇偶对称性和能量守恒问题提出了监督和非监督网络,并提出了一种嵌入所谓辛结构的无监督神经网络解决系统的守恒微分方程,表现出比非辛神经网络更好的性能。
Apr, 2019
本研究从概率对称性的角度考虑群不变性,建立功能性和概率对称性之间的联系,并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构,可用于模拟此类分布并提供了一般性的计算程序。
Jan, 2019
深度学习方法成功地用于推导保持重要物理量的对称变换。在这封信中,我们提出了一种用于检验和识别这种机器学习中发现的对称性的群论结构的方法。我们设计了损失函数,可以在对称性发现的深度学习阶段或后续的后处理阶段中探测子代数结构。我们通过 U (n) 李群家族的示例说明了这些新方法,得到了相应的子代数分解。作为粒子物理的应用,我们演示了在非阿贝尔规范对称性(如 SU (3) 和 SU (5))自发破缺后残余对称性的识别。
Sep, 2023
本论文介绍了 Sym-NET,这是第一个用于检测深度学习神经网络的反射和旋转对称性的模型,在人类感知的对称性、基于图像的计算机视觉竞赛中获得了最佳表现。
Apr, 2017
对于机器学习模型的对称性和内部数据表示之间的关联,我们提出了本文中阐述的模型内联群的概念,通过相似实验,我们将内联群与具有相同架构的模型之间的隐藏状态相似性联系起来,从而更好地理解体系结构如何影响学习和预测过程。最后,我们猜测对于 ReLU 网络,内联群可能提供一种合理的解释为什么要在隐藏层中集中探索模型可解释性。
May, 2022
本文在理论物理学领域引入可解释的孪生神经网络 (SNN) 用于相似性检测。具体而言,我们将 SNN 应用于特殊相对论事件、电磁场的变形以及中心势场中粒子的运动,在这些例子中,SNN 学习识别属于同一事件、同一场配置或相同运动轨迹的数据点。结果表明,在学习哪些数据点属于同一事件或场配置的过程中,这些 SNN 还可以学习相关的对称不变量和守恒量。这些 SNN 高度可解释,使我们能够揭示对称不变量和守恒量而无需预先知识。
Mar, 2020
我们开发了一个统一的框架,通过线性和张量值函数的组合表达在各种子群中对称不变的函数,利用多臂老虎机算法和梯度下降优化线性和张量值函数,从而学习出对应的对称性。通过图像数字求和和多项式回归任务的实验,证明了我们方法的有效性。
Sep, 2023