提出了一个关于递归神经网络在线训练的紧凑结构，其中根据多个标准对算法进行组织：过去与未来朝向，张量结构，随机与确定性，以及闭合形式与数值。测试在两个合成任务上的表现表明，表现根据标准聚集。

Jul, 2019

通过计算框架来探讨深度神经网络在数值分析领域的稳定性、精确性、计算效率和样本复杂性，研究了不同维度中的测试函数和与压缩感知的比较，结果表明 DL 在实际中的性能表现仍需要进一步设计架构和训练策略。但此实践证明了深度神经网络在科学计算中具有潜在的更好性能。

Jan, 2020

该研究提出了一种新的均场框架用于超参数化深度神经网络的分析，利用概率分布和在连续极限下的功能来表示 DNN，并通过适当的重新参数化将其训练目标重新表述为凸优化问题，构建了一种称为神经特征流的非线性动力学来捕捉超参数化 DNN 的演化，证明了在均场区域中超参数化神经网络训练具有全局收敛性的首个全局收敛证明。

Jul, 2020

本篇论文提出一种基于演化有向无环图的算法框架，自动生成高效的深度神经网络并优化其相关超参数，与已有文献中的搜索空间相比更具灵活性，能优化网络的结构和超参数，已经在时间序列预测基准测试中得到了实验结果的验证。

Feb, 2023

本文探讨了全连接前馈神经网络中隐藏节点的激活模式，提出了从两个信息处理系统，即连续性和离散性的角度来看待这种网络分类能力的新方式，并且重点突出了这两者搭配的重要性，为深度学习中神经网络的泛化能力提供了新的思路。

Jan, 2020

该论文提供了第一个针对具有一个隐层节点信息卷积的图神经网络（GNN）的可证明有效的学习算法，并开发了一种综合性框架来设计和分析 GNN 训练算法的收敛性。提出的算法适用于各种激活函数，包括 ReLU，Leaky ReLU，Sigmoid，Softplus 和 Swish，并对样本复杂度进行了特征化。数值实验进一步验证了理论分析。

Dec, 2020

本文提出了一种新颖的信息论框架，用其自己的遗憾和样本复杂度分析机器学习的数据需求，并用该框架研究了由具有 ReLU 激活单元的深度神经网络生成的数据的样本复杂度，并在权重的特定先验分布下建立了同时独立于宽度和线性深度的样本复杂度界限。

Mar, 2022

提出了一种框架，允许在广泛使用的深度神经网络中严格执行约束条件，其中约束通过限制 DNN 参数的子流形来确切满足。该框架的一个示例是将卷积神经网络（CNN）的滤波器限制为小波，并将这些小波网络应用于医学领域的轮廓预测任务。

Feb, 2023

在深度卷积神经网络中，通过提出一种以带有 ReLU 非线性激活的网络为基础的新型理论框架，该框架通过在教师 - 学生设置中扩展学生的向前 / 向后传播，明确了数据分布，强调了分解表示，并且兼容常见的规则化技术，不会强加不现实的假设，这种框架有助于促进许多实用问题（如过拟合，概括，深度网络中的分解表示）的理论分析。

Sep, 2018

该论文提出了一种基于平滑激活函数的全连接神经网络的端到端深度学习收敛分析方法，避免了潜在的抖动问题并且进一步采用协作学习来提高准确性，并通过案例验证了该方法的性能。

May, 2023