使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在CIFAR-10等数据集上取得了最先进的表现。

Dec, 2014

本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

Jan, 2018

本文介绍了深度神经网络在不同领域的应用，探讨了激活函数选择的重要性及其优化方法，提出了两个新的激活函数 ELiSH 和 HardELiSH，并使用基于遗传算法的方法在三个图像分类基准测试中得到了比传统基线更好的效果。

Aug, 2018

本研究对深度学习中使用的激活函数进行了调查和总结，强调了近期激活函数在深度学习应用方面的趋势。该总结对于选择适用于任何特定应用的最合适和适当的激活函数将起到帮助性作用。

Nov, 2018

本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

Jun, 2020

本论文综述了深度学习神经网络中激活函数的综合评估与调查，并对不同类型的激活函数进行了分类和性能比较。

Sep, 2021

本文通过一项涵盖400种激活函数的大规模调查，提供了先前已发表的激活函数的最全面概述和系统化，并为当前对该函数族的理解进行更新。

Feb, 2024

通过信息熵的角度，本研究理论上证明了存在具有边界条件的最差激活函数，提出了基于熵的激活函数优化方法（EAFO），并从ReLU中推导出了一种新的激活函数CRReLU。实验证明CRReLU在深度神经网络中表现优异，并在大型语言模型细调任务中展现出与GELU相比的卓越性能，显示其广泛的实际应用潜力。

May, 2024

本论文系统性地综述了各种类型的激活函数，包括固定形状、参数化、适应性、随机/概率性、非标准和组合类型。通过对各类激活函数的理论基础、数学公式以及在不同情境下的特点、优点和限制进行深入分析，同时还探讨了在专业应用中具有独特优势的其他激活函数和挑战传统范式的非标准激活函数。最后，通过严格的统计和实验方法对12种最先进的激活函数进行对比评估，以评估它们的有效性，并为选择和设计最适合特定深度学习任务的激活函数提供帮助。

Jul, 2024

本研究解决了深度神经网络中激活函数对动态性、收敛性和性能影响的问题。我们提出了一种进化方法来优化激活函数，特别针对图像分类任务，从而发现超过现有最先进选项的函数。最终结果表明，优化方案生成的激活函数在92.8%的案例中优于现有标准，$-x\cdot erf(e^{-x})$是最佳的图像分类激活函数。

Sep, 2024