我们研究了具有随机初始化参数和修正线性单元激活函数的大类浅层神经网络，并证明了这些随机神经网络是良定义的非高斯过程，由脉冲白噪声（随机狄拉克测度的组合）驱动的随机微分方程的解。这些过程由权重和偏置的分布以及输入域中每个有界区域中激活阈值的密度所参数化。我们证明这些过程是等向的，同时具有 Hurst 指数为 3/2 的广义自相似性，并导出了它们的自协方差函数的一个非常简单的闭式表达式。我们的结果从非渐近的视角来看与先前的工作有本质不同：输入域中每个有界区域（即宽度）的神经元数量本身是一个具有泊松分布的随机变量，并且其均值与密度参数成比例。最后，我们证明在适当的假设下，当期望宽度趋于无穷大时，这些过程除了能收敛到高斯过程外，还能收敛到依赖于权重分布的非高斯过程。我们的渐近结果提供了一种新的方法来看待几个经典结果（宽网络收敛到高斯过程）以及一些新结果（宽网络可以收敛到非高斯过程）。

May, 2024

本文旨在通过对卷积神经网络中的非局部操作权重矩阵进行频谱分析，提出了新的非局部块正则化形式。通过这种方式，我们不仅可以学习非局部交互，还可以获得稳定的动态响应，从而允许更深的非局部层级结构。同时，本研究还揭示了非局部网络与其他非局部模型之间的内在关联。

Jun, 2018

本文阐述了深度神经网络在一定情况下为何比其他模型表现更好，并通过考虑一定类别的非光滑函数，推导了使用 ReLU 激活的 DNN 的估计器的泛化误差，同时说明了 DNN 的收敛速率几乎是最优的，而某些流行的模型则未达到最优速率，这为选择合适的 DNN 层数和边提供了指导。

Feb, 2018

本研究提出了一种利用高斯噪声从任何光滑单调激活函数创建随机单元的拉普拉斯近似，研究了该随机近似在训练一类与 Bregman 散度密切相关的 Restriced Boltzmann Machines 表现良好。我们称此类为指数族 RBM（Exp-RBM），该方法相比对比散度可以使用新颖的随机单元学习到有效的特征表示。

Jan, 2016

探讨了一种带 1 个隐藏激活层、任意宽度和 ReLU 激活函数的神经网络，研究了神经网络的偏差，解释了为何神经网络可能更偏好具有更简单的几何形状和为何某些低信息熵函数对于神经网络来说仍然难以近似。

Apr, 2023

通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。

Nov, 2016

介绍了一种新的基于 Matern 家族核函数的非线性神经网络激活函数，具有一定的局部平稳性和多样的可微性，表现出良好的表现和不确定性校准能力，并在分类和回归基准测试和雷达发射机分类任务中得到了证明。

Oct, 2020

研究使用四种方法解决带有随机神经元和硬非线性的神经网络中的梯度估计问题，其中一种最小方差无偏梯度估计器（REINFORCE 算法的一种特殊情况）适用于随机二元神经元，另一种方法将二元随机神经元的操作分解为随机二元部分和平滑可微部分，在稀疏随机单元形成分布式表示的条件计算中可以得到更低的计算成本。

Aug, 2013

深度学习在不同领域展现了显著的成果，但为了理解其成功，我们需要研究其理论基础。本文探讨了一个不同的角度：深度神经网络如何适应不同地点、尺度和非均匀数据分布的函数的不同规则性。我们使用深层 ReLU 网络发展了非参数逼近和估计理论，并在多个函数类上应用了我们的结果，推导出相应的逼近误差和泛化误差。通过数值实验验证了我们结果的有效性。

Jun, 2024

本文介绍了如何通过两种方法解决通过随机神经元的输入推算出相应梯度的问题，并提出了一种可行的解决方法，可应用于梯度估计与强化学习中，同时提出了一种新型硬判定单元的高偏差、低方差梯度估计方法，可用于实现稀疏表示和稀疏梯度。

May, 2013