我们研究了神经网络作为替代模型来近似和最小化优化问题中的目标函数的使用，通过确定适合目前非线性优化测试问题目标函数近似的最佳激活函数来提供证明，我们分析通过插值 / 回归模型和神经网络获得的函数值、梯度和 Hessian 矩阵的近似精度，结果显示神经网络在零阶和一阶近似方面表现出较高竞争力（对应较高的训练成本），但在二阶近似方面表现较差。然而，通过将神经网络激活函数与二次插值 / 回归的自然基组合，可以减少模型参数数量。最后，我们提供了证据表明，包括神经网络在内的任何考虑的替代模型用于逼近优化算法的梯度时，都无法明显改善目前最先进的无导数优化算法的性能。
Nov, 2023
在本文中，我们展示了解释神经元模型内部工作的方法通常仅关注最高激活水平是不足够的，并且最高激活范围只负责神经元因果效应的很小百分比。我们提出神经元应该被理解为概念的线性组合，并开发了一种高效的方法来生成这些线性解释。此外，我们展示了如何使用模拟自动评估描述质量，即在视觉设置中预测神经元对未知输入的激活。
May, 2024
本文研究神经网络的理论解释，针对单个隐藏层、平滑激活函数和良好输入分布条件下生成的数据可否进行有效学习，证明了对于广泛的激活函数和任何对数凹分布的输入，存在一类单隐藏层函数，其输出为和门，难以以任何精度有效地学习，这一下界对权重的微小扰动具有鲁棒性，且通过实验验证了训练误差的相变现象。
Jul, 2017
使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。
Dec, 2014
该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。
May, 2019
本文提出了一种基于线性回归的方法来学习神经网络的权重和偏置，与标准的基于梯度的反向传播相比更为快速、稳定，但仅限于简单前馈神经网络、标量回归问题和可逆激活函数。
Jul, 2023
本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。
Oct, 2019
本文探讨了神经网络中的有理激活函数，证明了有理神经网络比指数小的深度下的 ReLU 神经网络更高效地逼近光滑函数，并通过数值实验证明了有理激活函数的灵活性和平滑性使其成为 ReLU 的有吸引力的替代选择。
Apr, 2020
本文提出了关于神经网络被认为具有高维空间模型但其空间的定义不够清晰的一个合理解释，即通过激活函数的作用将低维线性空间映射为无限维的高维空间，称为超空间。这种空间中的每个神经元节点通过激活层实际上是一个无限次幂的多项式，而训练神经网络可以至少简化为求解非线性方程组。
May, 2023
该篇论文调查了神经网络的近似性质，特别是使用 ReLU 激活函数的非线性流形，并比较了这种近似方法与传统数值分析中使用的近似方法之间的差异，着重分析了数值稳定性问题，发现在一定程度上提高了近似能力，但以数值稳定性为代价。
Dec, 2020