深度神经网络的学习曲线：高斯场理论视角

Jun, 2019

深度神经网络的学习曲线：高斯场理论视角

Learning Curves for Deep Neural Networks: A Gaussian Field Theory Perspective

Omry Cohen, Or Malka, Zohar Ringel

TL;DR使用一种物理学方法对深度学习进行研究，通过重整化群、Feynman 图和副本构造了一个多功能场论形式体系用于分析高度超参数化情况下的深度学习，研究表明 DNNs 除了高度超参数化外，仍然具有解释性和预测性 —— 偏向于简单函数。

Abstract

In the past decade, deep neural networks (DNNs) came to the fore as the leading machine learning algorithms for a variety of tasks. Their raise was founded on market needs and engineering craftsmanship, the latter based more on trial and error than on theory. While still far behind the

deep neural networks supervised deep learning renormalization group feynman diagrams entropic bias

发现论文，激发创造

深度学习的统计理论综述：逼近、训练动态和生成模型调查

这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。

Jan, 2024

深度学习理论原理

本文研究了深度神经网络并使用表示群流的概念及信息论技巧，分析了其非线性模型的学习机制和有效模型复杂性及超参数等参数的归纳偏置。

Jun, 2021

深度神经网络的扩展临界区

利用长尾随机矩阵与非平衡统计力学理论，提出了 DNN 的新型平均场理论，并发现重尾权重使得 DNN 出现了一个拓展的临界区，体现了丰富的跨层传播动力学，进而赋予 DNN 突出的计算优势，这为设计高效神经网络结构提供了理论指导。

Mar, 2022

某些深度神经网络的平均场极限

本文提出了一种适用于深度神经网络的缩放极限的解决方案，其权重可由被描述为平均场模型的理想粒子近似表示，该问题的关键在于我们的 McKean-Vlasov 问题存在唯一解。

Jun, 2019

深度学习和廉价学习为什么如此有效？

本论文旨在应用物理学中的对称性、局域性、复合性和多项式对数概率等性质，研究深度神经网络在近似处理特定实际问题时可以使用相对简单的模型，从信息论的角度证明这些理论，并通过层次结构的机制使深层模型比浅层模型更高效。

Aug, 2016

用傅里叶分析理解深度学习中的训练和泛化

通过傅里叶分析，研究 DNN 训练的理论框架，解释了梯度下降法训练 DNN 经常赋予目标函数低频分量更高的优先级，小的初始化导致 DNN 具有良好的泛化能力，同时保留拟合任何函数的能力。这些结果进一步得到了 DNN 拟合自然图像、一维函数和 MNIST 数据集的实验证实。

Aug, 2018

几何深度学习：网格、群、图、测地线和规范

通过统一的几何原理，深度学习可以更好地揭示基本规律，提供数学框架来研究卷积神经网络、循环神经网络、图神经网络和变压器网络等神经网络，且可以将物理学知识结合到神经网络结构中，从而提供了未来神经网络结构的原则性方法。

Apr, 2021

神经网络场论：非高斯性、作用和局域性

路径积分测度和神经网络的集合都能描述函数的分布。当中心极限定理在无限宽度（无限 N）的极限下适用时，网络的集合对应于一个自由场理论。提出了一种新的费曼图方案，通过连接态相关函数将场论的作用量按照展开参数逐阶重建。同时，可以通过表示动作变形为神经网络参数密度的变形，设计实现适当场论的结构。

Jul, 2023

近似推断将深度网络转化为高斯过程

本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

Jun, 2019

量子系统的神经网络表示

通过使用神经网络的通用逼近定理，本文提出了一种新的映射方法，将广义的量子力学系统转化为带有网络参数统计求和的神经网络形式，从而将机器学习与量子世界更加紧密地联系起来。

Mar, 2024