该篇论文调查了神经网络的近似性质，特别是使用 ReLU 激活函数的非线性流形，并比较了这种近似方法与传统数值分析中使用的近似方法之间的差异，着重分析了数值稳定性问题，发现在一定程度上提高了近似能力，但以数值稳定性为代价。
Dec, 2020
本研究介绍了一种名为 Causal Generative Neural Networks (CGNN) 的新方法，它利用神经网络学习观测变量联合分布的生成模型，具有线性复杂度且在三个任务中表现良好，包括因果推断、识别 v-structures 和有条件独立性，以及多变量因果建模。
Sep, 2017
本文采用构造性方法对系统动力学施加各种结构限制，从而表征了这样一个可以通过神经随机微分方程（神经 SDE）、确定性动力学系统和输出映射的级联互连实现的函数类。
Jul, 2023
通过全连接神经网络 (FNN) 建立分布回归的逼近理论和学习理论，针对概率测度作为输入变量的分布回归问题，建立了一种创新的神经网络框架，实现了定义在 Borel 概率测度空间上的泛函逼近理论，并通过两阶段误差分解技术推导了几乎最优的学习速率。
本文提出了一种新的中间随机模型，称为简化 SFNN，该模型可以建立在任何基线 DNN 之上，并通过简化其上部随机单元来近似某些 SFNN。我们将 DNN-> Simplified-SFNN-> SFNN 三个模型联系在一起，从而自然地引导随机模型的高效训练过程，利用 DNN 的预训练参数。使用多个流行的 DNN，我们展示了如何将它们有效地转移到相应的随机模型，以进行 MNIST，TFD，CASIA，CIFAR-10，CIFAR-100 和 SVHN 数据集的多模态和分类任务。
Apr, 2017
本文介绍了一种名为自标准神经网络 (SNNs) 的新型前馈神经网络，使用放缩指数线性单元 (SELU) 激活函数，自动进行归一化处理，并具有极高的性能表现，可以在多个机器学习任务中超越标准的前馈神经网络。
Jun, 2017
本文通过向前馈神经网络注入潜在的因果关系，以保证神经网络模型符合专家知识，从而提高模型在发现因果关系和预测性能方面的鲁棒性和精度。
May, 2022
该论文提供了第一个针对具有一个隐层节点信息卷积的图神经网络（GNN）的可证明有效的学习算法，并开发了一种综合性框架来设计和分析 GNN 训练算法的收敛性。提出的算法适用于各种激活函数，包括 ReLU，Leaky ReLU，Sigmoid，Softplus 和 Swish，并对样本复杂度进行了特征化。数值实验进一步验证了理论分析。
本文提出了一种用于神经网络的随机化方法，即随机配置网络，其采用随机分配输入权重和偏差节点的方法，以监督机制为基础，通过分析地计算输出权重，建立了三种回归问题的版本。研究结果显示，该方法具有较少人为干预的优点，可自适应随机参数设定，学习速度快，泛化能力强。
Feb, 2017
本文研究深度神经网络中的可扩展性问题，提出了一种条件计算的方法，利用门控单元来确定节点何时进行计算，通过将权重矩阵分解成低秩逼近，能够有效地获得非线性激活前的正负号，在使用 ReLU 激活函数时，能够跳过一些节点的计算，加速稀疏神经网络的运行。实验结果显示，这种方法在 MNIST 和 SVHN 数据集上的性能稳健，对于条件计算过程引入的误差具有较好的鲁棒性。
Dec, 2013