ICLRDec, 2020

神经力学：深度学习动态中的对称性和破缺守恒定律

PDF
TL;DR通过内在对称性的理论框架，使用有限差分法实现了在实践中使用的有限学习率的精确积分表达式来描述在任何数据集上通过深度学习训练出的当代网络体系结构的各种参数组合的学习动力学。
neural network parametersdeep learningstochastic gradient descentsymmetrieslearning dynamics
发现论文，激发创造
  • Noether 的学习动态：对神经网络中对称性破缺的作用

    通过拉格朗日力学视角建立了理论基础探索神经网络的学习动态在设计原则方面的几何学原理，揭示了显式对称性破缺等机制为现代神经网络的高效性和稳定性的关键。

    May, 2021

  • 用对称控制神经网络提高模拟精度

    本文通过应用 Hamilton 神经网络来学习和利用物理系统中保守量的对称约束，通过适当的损失函数来实现周期坐标的强制，从而在简单的经典动力学任务中实现了更高的准确性，进而拟合出网络中的隐向量的解析式，从中发现利用了保守量，如角动量。

    Apr, 2021

  • SGD 的极限动力学：修改的损失，相空间振荡和反常扩散

    研究 SGD 训练的深度神经网络在性能收敛后的步长限制动态，揭示了优化超参数、梯度噪声结构及训练结束时 Hessian 矩阵之间错综复杂的相互作用，通过统计物理学的视角解释这种异常扩散现象并在 ImageNet 数据集的 ResNet-18 模型上得到了实证验证。

    Jul, 2021

  • 将对称性纳入深度动力学模型中以提高泛化性能

    该研究提出将对称性引入卷积神经网络中，从而提高其在预测物理动态方面的准确性和泛化能力，该方法在实验和理论上都表现出了对分布转换的鲁棒性，并且在雷利 - 贝纳对流和真实世界的海洋表现上比传统方法更优秀。

    Feb, 2020

  • 关于对称性下的学习难度

    通过梯度下降，我们研究了学习等变神经网络的问题。尽管已知的问题对称（“等变性”）被纳入神经网络中，经验上改善了从生物学到计算机视觉等领域的学习流程的性能，但是一项有关学习理论的研究表明，在相关统计查询模型（CSQ）中，实际学习浅层全连接（即非对称）网络的复杂度呈指数级增长。在这项工作中，我们提出了一个问题：已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难？我们的答案是否定的。特别地，我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界，这些下界在相关输入维度中都以超多项式或指数级增长。因此，尽管通过对称性注入了显著的归纳偏差，但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。

    Jan, 2024

  • 神经网络中嵌入的物理对称性

    本文的重点是将物理约束嵌入神经网络的结构中，以解决神经网络在物理应用中缺乏可解释性和物理不可知设计的问题，通过限制可调参数并添加特殊层，保证所需约束不需要显式正则化项即可满足，为解决函数的奇偶对称性和能量守恒问题提出了监督和非监督网络，并提出了一种嵌入所谓辛结构的无监督神经网络解决系统的守恒微分方程，表现出比非辛神经网络更好的性能。

    Apr, 2019

  • 深度网络中对称性的理解

    本研究针对深度网络权重空间中的对称性问题，探讨了使用基于单位范数的约束来改善权重空间对称性问题的方法，并通过 MNIST 数据集上的实验证明该方法优于批量归一化方法且不会影响权重更新的计算性能。

    Nov, 2015

  • 神经网络内部对称统一化: Transformer, Feedforward 和 Neural ODE

    通过将物理学中的规范对称性原理应用于神经网络结构，本研究发现各种机器学习模型的参数冗余可以解释为规范对称性，进而揭示了深度学习模型的复杂行为，并为分析各类机器学习结构提供了一个统一的视角。

    Feb, 2024

  • 对称性，平坦极小值，以及梯度流守恒量

    通过使用激活函数的同变性并将其推广到非线性神经网络，找到了一些全局最小值的低误差谷，该方法可以提高鲁棒性，并提供了有关初始化影响的见解。

    Oct, 2022

  • 机器学习中实施、发现和促进对称性的统一框架

    提供了将对称性引入机器学习模型的一种统一的理论和方法框架，包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。

    Nov, 2023