- 关于径向基函数神经网络的普遍逼近性质
本文研究了一种新型的 RBF（径向基函数）神经网络，其中平滑因子被替换为位移，证明在激活函数具有一定条件下，这些网络能够逼近欧几里得空间中任何紧致子集上的任何连续多元函数。对于具有有限个固定中心的 RBF 网络，我们描述了保证任意精度逼近的 - 有限权重神经网络的逼近的测度论结果
本文研究带有有限方向和阈值变化的单隐层神经网络的逼近性质，并且获得衡量该网络在连续函数空间中密度的充分必要条件。此外，我们针对特定构造的激活函数和固定数量的神经元证明了网络密度的结果。
- 高精度和超低延迟的脉冲神经网络的最佳 ANN-SNN 转换
本研究提出量化裁剪 - 移位激活函数以更好地逼近 Spiking Neural Networks 的激活函数，能在超低延迟 (4 time-steps) 的情况下实现高精度和超低延迟的 SNNs，并在 CIFAR-10/100 和 Imag - Moderate Adaptive Linear Units (MoLU)
提出了一种新的高性能激活函数 MoLU，该函数由基本函数构成，是光滑且在整个定义域上具有无限可微性，可以降低训练时间。
- 随机自适应激活函数
本文提出了一种简单而有效的激活函数 Adaptive SwisH（ASH），可用于深度学习模型中，提高了准确性、泛化性和收敛速度。该函数基于神经元位置和输入上下文自适应地调整阈值和激活方法，并具有可训练的特性。
- Nish：一种新型负激励混合激活函数
本研究提出了新型剪裁激活函数 Nish，具有比传统的 ReLU 函数更强的动态表现能力，且在分类方面的表现略优于 Mish。
- 神经协方差 SDE：初始化时形态无限深度和宽度的网络
本文研究了前馈神经网络初始化时 logit 输出在上一个层定义的随机协方差矩阵下的条件高斯分布，探讨了这个矩阵的分布、激活函数的精确扩展、随机微分方程的控制以及基于激活函数的权重矩阵的状况。
- 约束单调神经网络
本文采用原始激活函数和其点反射组合建立单调深度神经网络，实现最少参数，无需修改学习流程或后续步骤，在精度方面表现优异。
- 自编码器简介
本文介绍了自编码器的数学和基本概念，讨论了其局限性、典型用例，以及几个例子，并探讨了其在减少维度、分类、去噪和异常检测等方面的应用。
- AAAIErfAct 和 Pserf：非单调平滑可训练激活函数
该研究提出了两种新的可训练激活函数，ErfAct 和 Pserf，实验表明，相对于 ReLU、Swish 和 Mish 等广泛使用的激活函数，使用 ErfAct 和 Pserf 在神经网络中能够显著提高网络性能.
- SERF：使用 log-Softplus ERror 激活函数实现更好的深度神经网络训练
提出了一种自我调节且非单调的激活函数 Serf，该函数可大幅提高神经网络的性能，在计算机视觉等多种任务中表现优异，深层网络中效果更为显著。与其他常用激活函数相比，Serf 更兼容各种深度、复杂度、优化器、学习率、批量大小、初始化器和节点丢弃 - WSDM网络嵌入的对抗训练优化视角理解与改进
本文从优化的角度理论上解释了 Adversarial Training for Network Embedding 的优秀结果，提出了新的激活函数，通过在四个真实网络上的实验验证表明该方法在节点分类和链接预测任务中优于现有的基线方法。
- ICCV低曲率激活减少对抗训练中的过拟合
本文研究在对抗训练中如何选择合适的激活函数，发现使用具有低曲率值的激活函数可以有效减小一般化误差，包括标准误差和稳健误差，并且这种现象适用于可微的平滑激活函数和不可微的非平滑激活函数。此外，对于具有低曲率的激活函数，没有出现模型的双下降现象 - ICML不要仅仅因为过度参数化而指责过度自信：二元分类校准的理论分析
本文通过理论证明和实验证明，在可实现的二元分类问题下，当数据由逻辑模型生成且样本量远大于参数个数时，对数回归具有固有的过度自信及其原因。作者还证明，存在其它激活函数和合适的损失函数，使得学习的分类器在某些概率值附近表现不足。
- AAAIS++: 面向隐私保护神经网络训练的快速可部署安全计算框架
介绍了 S ++ 框架，用于使用安全共享函数计算的方式，从多个来源训练 NN, 并提供快速和可验证的协议计算所有常见的激活函数.
- 两层神经网络的鲁棒性定律
研究显示神经网络的大小和唇氏常数之间存在固有的权衡，为保证唇氏恒定至少需要数据点数除以神经元个数的个数级别的神经元，过参数化（神经元数大于数据点数）是保证鲁棒性的必要条件，仅数据拟合仅需要 D 个数据点一个神经元。
- CVPR激活或不激活：学习定制化激活
本文提出 ACON 激活函数及其 meta-ACON 变种，能够在各种任务中提高性能，且可用于对象检测和语义分割。
- 使用温和 Sigmoid 激活函数进行具有差分隐私的深度学习
提出使用 tempered sigmoids 激活函数进行隐私保护训练，取得了 MNIST，FashionMNIST 和 CIFAR10 数据集上新的最优准确率，同时不需要修改学习过程的基本原理或差分隐私分析。
- 神经网络无法学习周期函数及其解决方法
使用新型激活函数 $x + sin^2 (x)$，结合传统 ReLU 激活函数的优势，来解决传统激活函数（如 ReLU、tanh、sigmoid 等）在学习周期函数方面的普遍失败。经实验证明，该方法能够成功地预测温度和金融数据。
- 发现参数激活函数
本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。