本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

Jan, 2018

本文提出了一种可训练的激活函数，使用贝叶斯建模自动估计学习数据中的模型权重和激活函数参数，并使用基于 MCMC 的优化方案进行推断，通过使用有效的采样方案来提高收敛速度并减少过度拟合问题，取得了良好的检验结果，并通过激活函数提高了模型的准确性。

Apr, 2023

本文介绍了深度神经网络在不同领域的应用，探讨了激活函数选择的重要性及其优化方法，提出了两个新的激活函数 ELiSH 和 HardELiSH，并使用基于遗传算法的方法在三个图像分类基准测试中得到了比传统基线更好的效果。

Aug, 2018

研究通过自适应性来改进机器学习的优化算法，包括个性化和用户特定模型、可证明的后训练模型自适应、实时学习未知超参数、快速收敛的二阶方法和基于低维更新的快速可扩展的二阶方法，以提供新的见解、引入具有改进收敛性保证的新算法并改进了流行实用算法的分析。

Nov, 2023

使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

Dec, 2014

本文介绍了一种自适应不同神经网络结构的权重初始化算法 AutoInit，该算法通过跟踪信号传播时的均值和方差，适当地调整每层的权重，从而避免信号爆炸或消失。实验证明，AutoInit 在各种激活函数、正则化、学习率和归一化设置下，都能提高卷积、残差和 Transformer 网络的性能，并比依赖数据的初始化方法更可靠。该算法的灵活性使其能够为各种规模的任务初始化模型，是神经架构搜索和激活函数发现等领域一种自动化配置工具，使新神经网络结构的设计更加鲁棒。AutoInit package 提供了一个 TensorFlow 的封装，可在此 URL 中获得。

Sep, 2021

正在这篇论文中，我们尝试设计一种机器学习算法，用于具有二元激活和单个权重矩阵的架构，并展示它能够形成自然语言文本的有用表示，但在利用大量训练数据方面存在限制。我们提供了改进该算法和设计类似架构的其他训练算法的想法，并讨论了找到有效的训练算法可能带来的潜在益处，并建议进行实验来评估这些益处是否存在。

Dec, 2023

本文旨在通过引入一个新颖的框架，展示 AutoML 可以进一步通过基本数学运算作为构建块自动发现完整的机器学习算法，从而大大减少人类偏见，并通过演化搜索不同类型的任务来适应算法。

Mar, 2020

通过对「边缘混沌」的理论分析，研究了深度神经网络中各参数的选取对模型训练加速和性能提升的影响。

Feb, 2019

介绍了人工神经网络中激活函数的主要概念及其作用，讨论了各种激活函数类型、应用、限制和替代方案。

Apr, 2022