本文研究了基于小批量样本随机梯度优化的现代深度神经网络训练中，不同批量大小对测试性能和泛化性能的影响，并指出使用小批量训练可以提供更稳定和可靠的结果。

Apr, 2018

研究浅层神经网络的训练动态，探究少量大批量梯度下降步骤在哪些条件下可以促进核区以外的特征学习。

May, 2023

通过对教师 - 学生感知器分类模型的研究，我们在 B-η 平面上获得了一个相图，分为三个动力学相：(i) 由温度控制的噪声主导的 SGD，(ii) 由大步长主导的 SGD 和 (iii) GD，这些不同相还对应着不同的泛化误差区域。有趣的是，我们的分析揭示了将相 (i) 和相 (ii) 分隔开的批次大小 B * 与训练集大小 P 呈比例，其中的指数表征了分类问题的难度。

Sep, 2023

本文研究了增加批次大小对神经网络训练时间以及模型性能的影响，并发现不同的工作负载之间存在巨大的差异，并且不发现增加批次大小会降低模型的性能表现。

Nov, 2018

通过研究完全连接前馈神经网络和卷积神经网络中的有序到混沌转变，展示了如何将合适初始化的神经网络行为理解为吸收相变中的普适临界现象，并且可以成功应用有限尺度缩放，从而导致了信号传播动力学的半定量描述。

Jul, 2023

研究增加小批量大小以减少神经网络训练时间所面临的挑战，并通过广泛的经验分析得出，增加批量大小超过一定点对于训练或测试损失的收敛时间没有减少，而这一点通常低于当前系统的容量，说明常用的大批量优化训练策略在无法充分利用所有可用的计算资源之前就会失败。

Nov, 2018

通过研究在具有各向同性协变量的多指标目标函数上使用一遍随机梯度下降法（SGD）训练两层神经网络的迭代时间和批次大小之间的影响，我们揭示了最佳批次大小对于缩短迭代时间的优化函数，同时不改变总样本复杂性，并通过 “相关损失 SGD” 来克服此基本限制。

Jun, 2024

量子神经网络的训练动力学可以用广义的 Lotka-Volterra 方程描述，导致了一个动力学相变。当代价函数的目标值从上方穿过最小可达值到下方时，动力学从冻结核相位变为冻结误差相位，显示了量子神经正切核和总误差之间的二元性。在两个相位中，对于固定点的收敛是指数级的，而在临界点时则是多项式级的。我们通过将训练动力学的 Hessian 映射到虚时间中的 Hamiltonian，揭示了相变的本质是二阶的，指数 ν=1，表现出临界点的尺度不变性和闭合间隙。我们还通过在输出态趋近稳态时的限制 Haar 集合上提供了一个非微扰的解释相变的分析理论。这些理论发现在 IBM 量子设备上得到了实验验证。

Nov, 2023

应用自旋玻璃的技术，研究了卷积稀疏编码神经网络去噪 32×32 RGB CIFAR-10 图像时的稀疏性和重构误差，发现在稀疏度的一个临界值处存在连续相变，并可利用有限尺寸缩放所固有的功率律缩放关系来确定任何网络大小的最佳稀疏度，从而在最小去噪误差处操作系统。

Oct, 2017

Dense Hopfield 网络在特征到原型的转换和对抗性鲁棒性方面具有特色。本研究通过研究无监督学习问题中教师 - 学生设置的 p-body Hopfield 网络的相图，在模式检索方面揭示了类似于原型学习和特征学习区域的铁磁相。我们发现在 Nishimori 线上，需要训练集的临界大小才能实现高效的模式检索。有趣的是，我们发现教师 - 学生设置的顺磁到铁磁的转变与直接模型（即随机模式）的顺磁到自旋玻璃的转变相一致。在 Nishimori 线之外，我们研究了学习性能与推断温度和数据集噪声的关系。此外，我们证明学生的 p 比教师更大可以给学生以对噪声的广泛容忍性。然后，我们导出了一个在零温下衡量这种学生对抗性鲁棒性的闭合形式表达式，证实了大型神经网络中观察到的参数数量与鲁棒性之间的正相关性。我们还使用我们的模型阐明了现代 Hopfield 网络的原型相为何具有对抗性鲁棒性。

Jan, 2024