本研究提出一种基于贝叶斯方法的神经网络架构参数估计方法，通过学习这些参数的具体分布来实现。研究表明，具有学习结构的正则网络在小数据集上可以更好地泛化，而完全随机化的网络可以更强健地处理参数初始化。与基于随机搜索的架构搜索不同，所提出的方法依赖于标准的神经变分学习，不需要对模型进行重新训练，从而最小化计算开销。
Jan, 2019
通过将神经网络视为一种随时间推移的动力系统，我们发现网络的输运映射中存在低动能位移偏差，并将其与泛化性能相关联，从而提出了一种新的学习算法，该算法可自动适应给定任务的复杂度，并在低数据情况下产生具有高泛化能力的网络。
Sep, 2020
简述：对深度学习的理论研究逐渐深入，从表示能力到优化、从梯度下降的泛化性质到固有隐藏复杂性的到达方式，已经有了一些解释；通过在分类任务中使用经典的均匀收敛结果，我们证明了在每个层的权重矩阵上施加单位范数约束下最小化替代指数型损失函数的有效性，从而解决了与深度网络泛化性能相关的一些谜团。
Aug, 2019
该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。
Jun, 2018
本论文通过应用无序系统的统计物理学技术，对解决使用 softmax 输出和交叉熵损失的分类任务的深度神经网络的推广进行非线性动力学的分析，以理论上支持多任务学习表现由任务的噪声性以及输入特征对其的对齐程度来决定的直觉。
Oct, 2019
这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。
Jan, 2024
本文考虑在神经科学和机器学习之间建立联系，提出脑部通过优化各式各样的代价函数来实现数据高效学习和定向行为，其中包括关注、递归等结构体系和各种形式的短时和长时记忆存储，作者提出了未来神经科学试图改进和检验这些假设的方向。
Jun, 2016
本文综述了神经网络模型不同抽象级别的概念、建模方法和最近的研究发现，包括网络模型的概括、分布、域、任务、模式和范围的泛化，着重于在各泛化层次上存在的问题，例如过拟合问题和域适应问题。
Sep, 2022
通过演化算法和梯度下降方法，本研究提出了四种算法来寻找人工神经网络结构，用于行为（黑箱）建模特定的动态过程。在研究中，采用了经过优化选择的循环型人工神经网络，优化的目标是在学习的数学模型响应下，平衡神经网络的规模和准确性。并通过数学模型验证研究中提出的演化算子的有效性。
Sep, 2023
我们提出了一个统一的优化框架，用于训练不同类型的深度神经网络，并在任意损失、激活和正则化函数上建立其收敛性。该框架推广了众所周知的一阶和二阶训练方法，并允许我们展示这些方法在各种深度神经网络架构和学习任务中的收敛性为我们的方法的一种特殊情况。
May, 2018