Jul, 2023

神经网络场论：非高斯性、作用和局域性

PDF
TL;DR路径积分测度和神经网络的集合都能描述函数的分布。当中心极限定理在无限宽度（无限 N）的极限下适用时，网络的集合对应于一个自由场理论。提出了一种新的费曼图方案，通过连接态相关函数将场论的作用量按照展开参数逐阶重建。同时，可以通过表示动作变形为神经网络参数密度的变形，设计实现适当场论的结构。
path integral measurefield theoryneural networks$1/n$-expansionfeynman diagram prescription
发现论文，激发创造
  • 量子系统的神经网络表示

    通过使用神经网络的通用逼近定理，本文提出了一种新的映射方法，将广义的量子力学系统转化为带有网络参数统计求和的神经网络形式，从而将机器学习与量子世界更加紧密地联系起来。

    Mar, 2024

  • 深度神经网络的学习曲线：高斯场理论视角

    使用一种物理学方法对深度学习进行研究，通过重整化群、Feynman 图和副本构造了一个多功能场论形式体系用于分析高度超参数化情况下的深度学习，研究表明 DNNs 除了高度超参数化外，仍然具有解释性和预测性 —— 偏向于简单函数。

    Jun, 2019

  • 两层神经网络的平均场理论：无维界限和核极限

    本文探讨利用随机梯度下降学习两层神经网络，将神经网络权重的演化近似为概率分布在 R^D 空间中的演化，从而得到概率分布的梯度流方程。我们分析了隐藏单元数量与数据规律性之间的相关性，扩展了此结果到无界激活函数的情况，将此结果应用到噪声随机梯度下降过程中，并展示了如何通过平均场分析特殊限制条件下的核岭回归。

    Feb, 2019

  • 宽神经网络：从非高斯随机场的初始化到 NTK 训练几何

    本文研究了具有大规模参数的人工神经网络，并探究了正态性的校正、宽神经网络的演化控制、与高概率训练的全局最小值等。

    Apr, 2023

  • 神经网络贝叶斯推断中的数据变异理论

    基于无限宽度神经网络的高斯过程，并结合内核和推理方法，构建了一个场论的形式体系，研究了无限宽度网络的泛化性质，并从输入数据的统计性质得到了泛化性质的提取。

    Jul, 2023

  • 神经网络的平均场分析：中心极限定理

    本文通过随机分析弱收敛方法证明单层神经网络模型在隐藏单元数量和随机梯度下降迭代次数均较大时存在中心极限定理；结果表明网络在平均场极限周围的波动符合高斯分布，并且满足一些随机偏微分方程。

    Aug, 2018

  • 随机神经网络的路径积分方法

    通过使用路径积分的系统方法，我们研究了大尺寸随机神经网络的动态，除了推导动态均场方程，计算系统的李雅普诺夫指数，还首次计算了均值场方程波动谱，并从中推导出参数的稳定性条件及系统的有限尺度修正。

    Sep, 2018

  • 通过神经算子对量子场论进行多晶格采样

    我们考虑了从 Boltzmann 分布中采样离散场配置的问题，并通过运算符学习将其建模为一个时间相关的算子，该算子可以将自由理论和目标理论的泛函分布相互映射。我们的实验证明，基于此种算子的流架构在尺寸超过训练集的晶格中的表现良好，并且通过在较小的晶格上进行预训练可以提高训练速度。

    Jan, 2024

  • 某些深度神经网络的平均场极限

    本文提出了一种适用于深度神经网络的缩放极限的解决方案，其权重可由被描述为平均场模型的理想粒子近似表示，该问题的关键在于我们的 McKean-Vlasov 问题存在唯一解。

    Jun, 2019

  • 神经网络有效理论的结构

    本文介绍了一种图表方法，用于有效场理论（EFT）对应于初始状态的深度神经网络，这显着简化了有限宽度修正神经元统计量的计算。EFT 计算结构表明，单个条件可以需要关键条件连接的所有神经元激活的关联器。这种 EFT 的理解可能促进深度学习和场论模拟的进展。

    May, 2023