- 深度神经网络的拓扑学
通过对二元分类问题的数据集进行拓扑学分析，研究网络层数对于数据拓扑的影响，发现神经网络能够通过非同胚映射改变数据的拓扑结构，且 ReLU 激活函数能更有效地实现拓扑的转换。
- Mehler 公式，分支过程和深度神经网络的组合核函数
通过 Mehler 公式探究组合内核和分叉过程之间的连接，研究了深度神经网络的数学作用。此外，提出了一种新的随机特征算法，并研究了组合内核的特征值，进一步说明了相应再生核希尔伯特空间的复杂性。
- Filter Response Normalization 层：消除深度神经网络训练中的批次依赖性
本文提出了 Filter Response Normalization（FRN）层，一种归一化和激活函数的新型组合，可以作为其他归一化和激活函数的替代品；该方法在各种情况下都优于 BN 和其他替代品，对于具有大型 mini-batch 的 - ICLR模糊平铺激活：一种在线学习稀疏表示的简单方法
本文介绍了一种通过构造稀疏表示的激活函数，防止神经网络中的干扰和噪音，并探究其在在线学习和深度强化学习中的应用。该函数能在大多数环境下进行稳定策略学习，无需目标网络。
- 激活函数对超参数化神经网络训练的影响
研究论文探讨了激活函数对过度参数化神经网络训练的影响，指出了平滑的激活函数在训练中的优势和尺寸较小的数据维度可能导致训练速度变慢的问题，并讨论了这些结果的应用和推广。
- MoBiNet：用于图像分类的移动二进制网络
本文介绍了一种利用 MobileNet 二值化来进行激活函数和模型权重处理的简单而高效的方案，同时提出了一个新的神经网络结构 MoBiNet，通过跳连接来防止信息丢失和梯度消失，以便更好地进行训练，并在 ImageNet 数据集上进行了实验 - 胶囊间的注意路由
本文提出了 Attention Routing CapsuleNet（AR CapsNet）作为一种新的胶囊网络架构，使用注意力路由和胶囊激活来取代胶囊网络的动态路由和扁平激活函数，对 MNIST、affNIST 和 CIFAR-10 分类 - 深窄网络的通用逼近性
该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。
- KDD将先前的金融领域知识整合到神经网络中进行隐含波动率曲面预测
本文提出了一种全新的神经网络模型来预测隐含波动率，该模型融入了金融领域的先验知识和考虑到波动率微笑的激活函数，并将无套利条件、边界和渐近斜率等金融条件嵌入到损失函数中进行训练。该模型在 S&P 500 指数上 20 年的期权数据方面优于基准 - 由 Ornstein-Uhlenbeck 过程驱动的深度神经网络的隐式正则化
研究采用随机梯度下降法训练的神经网络，通过对每一次迭代的训练标签进行独立噪声扰动，得到一个隐式正则化项，从而驱动网络向简单模型发展，并以矩阵感知、一维数据下的两层 ReLU 网络训练以及单数据点下的两层 sigmoid 激活网络训练等三个简 - 激活函数对深度神经网络训练的影响
通过对「边缘混沌」的理论分析，研究了深度神经网络中各参数的选取对模型训练加速和性能提升的影响。
- 深度神经网络特征相关性研究
本文探讨了深度神经网络中冗余特征的提取，发现网络大小和激活函数是促进其提取冗余特征的两个最重要的因素，使用 MNIST 数字识别和 CIFAR-10 数据集中的多层感知器和卷积神经网络说明了该概念。
- AAAI抬升的邻域算子机器
提出了一种新的神经网络优化方法，将激活函数转换为等效的邻近算子，通过将邻近算子添加到目标函数作为惩罚项来近似前馈神经网络，称为 LPOM。
- 残差网络通过通用的激活函数实现动态等比特性
本文研究了残差神经网络中动态同构的可达性，借助自由概率和随机矩阵理论，我们导出了初始化时输入输出雅可比矩阵谱密度的通用公式，在大型网络中我们得到了一个依赖于单个参数的奇异值谱，并分析了各种常见激活函数的信号传播，我们通过随机矩阵和 CIFA - 关于狭窄深度神经网络的决策区域
研究发现，当神经网络的宽度小于或等于输入维度时，决策区域的所有联通组件都是无界的。本文还对此进行了数值实验，并补充了最近对这种狭窄神经网络逼近能力和决策区域连通性的研究成果。
- Sigsoftmax：Softmax Engpass 的重新分析
该论文提出了一种输出激活函数 sigsoftmax 用于解决神经网络语言建模中的 softmax 瓶颈问题，它由指数函数和 sigmoid 函数的乘积构成，相对于 softmax 和混合 softmax，在语言建模实验中表现更好。
- 深度神经网络初始化和激活函数的选择
这篇论文研究了深度神经网络的权重初始化和激活函数对其训练性能的影响，证明了边缘混沌状态具有优异的表现，同时提出了一类叫做 Swish 的激活函数，可以优化信息传递。
- 灵活的整流线性单元：用于优化卷积神经网络
本文提出了一种称为灵活整流线性单元的新的激活函数，通过重新设计修正线性单元的修正点作为可学习参数，FReLU 扩展了激活输出的状态，使网络收敛到负值，提高了表现，结果表明该方法在各种网络结构上都能快速收敛并获得更高的表现，尤其在图像分类方面 - 一种用于前馈 ReLU 神经网络的可达性分析方法
研究使用 ReLU 函数实现激活函数的前馈神经网络系统的可达性问题，并通过线性问题对其进行表征，并提出了一种基于最先进的线性规划求解器解决实际问题的方法。通过分析文献中的多个基准测试来评估所提出技术的性能。
- 通过电动力学的神经网络收敛结果
研究了深度为二的神经网络是否可以使用梯度下降学习另一个深度为二的网络，并且通过电动力学的方式证明了梯度下降算法是否能够收敛到目标函数中。基于此，证明了存在一种激活函数，使得梯度下降学习至少一个目标网络中的隐藏节点，并且可以通过迭代的方式逐步