本文阐述了深度神经网络在一定情况下为何比其他模型表现更好，并通过考虑一定类别的非光滑函数，推导了使用 ReLU 激活的 DNN 的估计器的泛化误差，同时说明了 DNN 的收敛速率几乎是最优的，而某些流行的模型则未达到最优速率，这为选择合适的 DNN 层数和边提供了指导。

Feb, 2018

神经网络在生活中起着至关重要的作用，最现代的生成模型能够取得令人印象深刻的结果。本文将几何框架应用于研究神经网络，探讨卷积、残差和递归神经网络，以及非可微激活函数的情况，并通过图像分类和热力学问题的数值实验来说明研究结果。

Apr, 2024

本文研究使用带有 ReLU 的深度神经网络能够代表的函数家族，提供了一个训练一个 ReLU 深度神经网络的一种算法，同时提高了在将 ReLU 神经网络函数逼近为浅层 ReLU 网络时已知下限的上界，并证明了这些间隙定理。

Nov, 2016

基于玻尔兹曼机和伊辛模型，利用模型参数流的方式，研究深度神经网络特征提取的层次性以及与统计物理中重整化群的关系。通过分析训练后的玻尔兹曼机的权重矩阵性质，解释其向临界温度 $T_c=2.27$ 流动的原因以及学习提取自旋构型特征的方式。

Jan, 2018

该研究建立了前馈神经网络与 tropical 空间之间的联系，通过这个联系，我们证明了具有一个隐藏层的前馈神经网络可以通过 zonotopes 来特征化，并且与 tropical hypersurfaces 相关联。

May, 2018

提出了一种在训练之前识别随机连接神经网络中显著计算路径的新方法，该计算图根据本地图测量定义的节点质量概率函数进行修剪，并由基于强化学习的控制神经网络产生的超参数进行加权。使用 Ricci 曲率的定义来删除低重要性的边。该方法显示出几乎 35％的 FLOPs 次数每次操作的减少，而不会降低性能。此外，该方法可以基于纯粹的结构属性成功地调整随机连接的神经网络，并发现在一种网络中发现的有利特性普遍适用于其他网络。该方法产生的网络在类似于最低幅度权重修剪的压缩下具有更好的性能。据我们所知，这是关于修剪随机连接神经网络的第一篇工作，也是第一篇在修剪机制中利用 Ricci 曲率的拓扑度量的工作。

Jul, 2020

通过统一的几何原理，深度学习可以更好地揭示基本规律，提供数学框架来研究卷积神经网络、循环神经网络、图神经网络和变压器网络等神经网络，且可以将物理学知识结合到神经网络结构中，从而提供了未来神经网络结构的原则性方法。

Apr, 2021

通过基于分数的逆扩散算法生成的高质量样本提供了证据，表明尽管遭受维度灾难的困扰，用于降噪训练的深度神经网络（DNN）可以学习高维密度。然而，关于训练集记忆化的最近报导引发了一个问题，即这些网络是否正在学习数据的 “真实” 连续密度。在本文中，我们展示了在非重叠的数据集子集上训练的两个降噪 DNN 学习到几乎相同的评分函数，从而学习到相同的密度，并且只需要非常少的训练图像。这种强大的泛化表明 DNN 架构和 / 或训练算法中的强大归纳偏差与数据分布的特性相一致。我们通过对这些内容进行分析来证明这一点，证明了去噪器在适应底层图像的基础上执行了一个收缩操作。对这些基础的检查揭示了轮廓线和均匀图像区域中的振荡谐波结构。我们通过证明即使在训练于低维流形等图像类别的情况下，这些经过训练的去噪器也会生成这种几何自适应谐波表示来表明它们在归纳偏差方面具有偏好。此外，我们还展示了当在已知最优基础为几何自适应谐波的常规图像类别上进行训练时，网络的去噪性能接近最优。

Oct, 2023

使用一种物理学方法对深度学习进行研究，通过重整化群、Feynman 图和副本构造了一个多功能场论形式体系用于分析高度超参数化情况下的深度学习，研究表明 DNNs 除了高度超参数化外，仍然具有解释性和预测性 —— 偏向于简单函数。

Jun, 2019

本文研究了与从数据中学习深度线性神经网络（其中激活函数为恒等映射）相关的梯度流的收敛性，结果表明梯度流总是收敛于潜在函数的临界点。

Oct, 2019