Feb, 2024

神经网络内部对称统一化: Transformer, Feedforward 和 Neural ODE

PDF
TL;DR通过将物理学中的规范对称性原理应用于神经网络结构，本研究发现各种机器学习模型的参数冗余可以解释为规范对称性，进而揭示了深度学习模型的复杂行为，并为分析各类机器学习结构提供了一个统一的视角。
neural networkstransformersgauge symmetriesparametric redundanciesmachine learning architectures
发现论文，激发创造
  • 对称正则化的神经常微分方程

    通过将连续 LIE 对称性引入神经 ODE 模型，将其与损失函数相结合，本文研究了在连续时间框架中捕捉系统动力学的神经 ODE 模型对称正则化。这种结构属性的引入能显著提高模型的鲁棒性和稳定性。

    Nov, 2023

  • 神经网络中嵌入的物理对称性

    本文的重点是将物理约束嵌入神经网络的结构中，以解决神经网络在物理应用中缺乏可解释性和物理不可知设计的问题，通过限制可调参数并添加特殊层，保证所需约束不需要显式正则化项即可满足，为解决函数的奇偶对称性和能量守恒问题提出了监督和非监督网络，并提出了一种嵌入所谓辛结构的无监督神经网络解决系统的守恒微分方程，表现出比非辛神经网络更好的性能。

    Apr, 2019

  • 神经力学：深度学习动态中的对称性和破缺守恒定律

    通过内在对称性的理论框架，使用有限差分法实现了在实践中使用的有限学习率的精确积分表达式来描述在任何数据集上通过深度学习训练出的当代网络体系结构的各种参数组合的学习动力学。

    Dec, 2020

  • 学习古典可积系统的对称性

    本研究通过神经变换来学习哈密顿机械系统的对称性，需要新的网络体系结构来参数化辛变换，以维持哈密顿结构，并学习了可积模型的结构，这是神经变换适应一个受限于反演之外的家庭的典型示例。

    Jun, 2019

  • 关于对称性下的学习难度

    通过梯度下降，我们研究了学习等变神经网络的问题。尽管已知的问题对称（“等变性”）被纳入神经网络中，经验上改善了从生物学到计算机视觉等领域的学习流程的性能，但是一项有关学习理论的研究表明，在相关统计查询模型（CSQ）中，实际学习浅层全连接（即非对称）网络的复杂度呈指数级增长。在这项工作中，我们提出了一个问题：已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难？我们的答案是否定的。特别地，我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界，这些下界在相关输入维度中都以超多项式或指数级增长。因此，尽管通过对称性注入了显著的归纳偏差，但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。

    Jan, 2024

  • Transformer 层的神经 ODE 解释

    本文提出了一种修改 Transformer 层内部结构的方法，将多头注意力子层和 MLP 子层并行布置，并且结合使用神经 ODE 求解器的高级积分方案，提高了 Transformer 网络在多个任务中的性能。

    Dec, 2022

  • 研究学习的李群生成器 (LieGG)

    提出一种方法来提取神经网络学习的对称性并评估网络对其的不变性程度。结果表明网络的对称性普遍存在于不同的结构中，但学习到的对称性质量取决于深度和参数数量。

    Oct, 2022

  • 机器学习中实施、发现和促进对称性的统一框架

    提供了将对称性引入机器学习模型的一种统一的理论和方法框架，包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。

    Nov, 2023

  • 概率对称和不变神经网络

    本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

    Jan, 2019

  • 神经参数的对称性或不对称性的实证影响

    对深度学习中的参数对称性进行了实证研究，通过引入具有降低参数对称性的新型神经网络架构，采用两种可证明保证的方法对标准神经网络进行改进，进行了多任务的全面实验研究，发现参数对称性对模型的影响，包括线性模式连接性和贝叶斯神经网络训练速度和效果的提升。

    May, 2024