本文研究了沿着混乱边缘初始化的深度前馈网络，发现其具有指数级的培训能力。同时探讨了 tanh 激活函数的饱和效果，发现这个效果会影响到混乱边界的训练效率，并提出了最大熵的相空间平衡特性。研究表明，在混乱边缘初始化是实现最优训练能力的必要条件，但不足以满足这个目标。

Apr, 2023

量子神经网络的训练动力学可以用广义的 Lotka-Volterra 方程描述，导致了一个动力学相变。当代价函数的目标值从上方穿过最小可达值到下方时，动力学从冻结核相位变为冻结误差相位，显示了量子神经正切核和总误差之间的二元性。在两个相位中，对于固定点的收敛是指数级的，而在临界点时则是多项式级的。我们通过将训练动力学的 Hessian 映射到虚时间中的 Hamiltonian，揭示了相变的本质是二阶的，指数 ν=1，表现出临界点的尺度不变性和闭合间隙。我们还通过在输出态趋近稳态时的限制 Haar 集合上提供了一个非微扰的解释相变的分析理论。这些理论发现在 IBM 量子设备上得到了实验验证。

Nov, 2023

该研究建立了一个三层无限宽度的神经网络参数初始化的相图，发现不同层的动态行为区别巨大，提供了对不同初始化条件下深度神经网络的研究指导。

May, 2022

本文利用黎曼几何和高维混沌的平均场理论相结合，研究了具有随机权重的通用深度神经网络中信号传播的性质。我们的研究结果揭示了从秩序相到混沌相的表达能力相变，并证明了浅层网络无法高效地计算这种深度随机函数族。此外，我们定量证明了深度网络可以将输入空间中高度曲率的流形分解成隐藏空间中的平坦流形。

Jun, 2016

通过实验和理论方法，我们对两层 ReLU 神经网络在无限宽度极限下的动态状态及其与初始化超参数的依赖关系进行了完整表征，并绘制了相图。我们确定了相图中的三个区域：线性区、临界区和凝聚区，分别基于输入权重的相对变化。该相图将神经网络的训练行为及其隐式规范化的更系统性研究迈出了第一步。

Jul, 2020

通过平均场理论研究未经训练的神经网络的行为，并显示相应的深度尺度限制了信号在这些随机网络中传播的最大深度；研究表明，dropout 破坏了有序到混沌临界点，因此强烈地限制了随机网络的最大可训练深度；我们开发了后向传播的平均场理论，证明了有序和混沌相位分别对应于梯度消失和梯度爆炸的区域。

Nov, 2016

该论文探讨了深度神经网络的近似速率相图，并证明了几个新的理论结果，具体而言，将 ReLU 网络中深度不连续相的现有结果推广到了任意正光滑的函数类，并确定了可行和不可行速率之间的界限；此外，我们表明所有具有分段多项式激活函数的网络具有相同的相图；接下来，我们证明了具有固定宽度且独立于光滑度的标准全连接架构可以适应光滑度并实现几乎最佳速率；最后，我们考虑了具有周期性激活（“深度傅立叶展开”）的深层网络，并证明它们具有非常快的指数近似速率，这要归功于网络实现高效查找操作的新能力。

Jun, 2019

应用自旋玻璃的技术，研究了卷积稀疏编码神经网络去噪 32×32 RGB CIFAR-10 图像时的稀疏性和重构误差，发现在稀疏度的一个临界值处存在连续相变，并可利用有限尺寸缩放所固有的功率律缩放关系来确定任何网络大小的最佳稀疏度，从而在最小去噪误差处操作系统。

Oct, 2017

采用神经网络通过监督学习来识别凝聚态系统中的相和相变，能够通过现代软件库方便地进行编程，能够检测到多种类型的序参量，包括高度非平凡的库仑相，并且即使在没有哈密顿量甚至相互作用的广义局部性知识下，也能够实现分类。

May, 2016

研究表明，扩散模型在捕捉图像等自然数据中的层次组合特征方面具有潜力，通过分析层次生成模型的反向扩散过程，发现在某个阈值时间后，高层次特征的重构概率突然下降，而低层次特征的重构则在整个扩散过程中平滑演化，这为扩散模型的时间与尺度关系提供了理论研究，并将生成模型提出作为建模组合数据特性的强大工具。

Feb, 2024