本文提出利用自动搜索技术发现新的激活函数。通过详尽和强化学习的结合搜索，发现了多个新型激活函数，其中最佳的发现激活函数（称为Swish）在许多困难数据集上比ReLU更有效。

Oct, 2017

本文介绍了深度神经网络在不同领域的应用，探讨了激活函数选择的重要性及其优化方法，提出了两个新的激活函数 ELiSH 和 HardELiSH，并使用基于遗传算法的方法在三个图像分类基准测试中得到了比传统基线更好的效果。

Aug, 2018

本文通过对21种激活函数进行了首次大规模比较，并发现所谓的惩罚性tanh函数在8种不同的自然语言处理任务中表现最为稳定，可替换LSTM细胞中的sigmoid和tanh门，在具有挑战性的自然语言处理任务中实现了2个百分点的改进。

Jan, 2019

本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

Jun, 2020

提出了一种新的激活函数Piecewise Linear Unit，它可以学习专门的激活函数，并在大规模数据集上获得SOTA性能，比Swish在ImageNet分类数据集上分别提高了0.9%/0.53%/1.0%/1.7%/1.0%的top-1准确率，此外PWLU易于实现且在推理方面高效。

Apr, 2021

提出了一种自我调节且非单调的激活函数Serf，该函数可大幅提高神经网络的性能，在计算机视觉等多种任务中表现优异，深层网络中效果更为显著。与其他常用激活函数相比，Serf更兼容各种深度、复杂度、优化器、学习率、批量大小、初始化器和节点丢弃率等方面的设置，理论上表现修正了基于Swish函数的Mish函数的先决条件函数可充当的有效性，通过数学关系证明了Swish与Serf之间的关系，为深度学习以及神经网络的未来发展提供新思路。

Aug, 2021

本文提出了一种简单而有效的激活函数Adaptive SwisH（ASH），可用于深度学习模型中，提高了准确性、泛化性和收敛速度。该函数基于神经元位置和输入上下文自适应地调整阈值和激活方法，并具有可训练的特性。

Oct, 2022

通过信息熵的角度，本研究理论上证明了存在具有边界条件的最差激活函数，提出了基于熵的激活函数优化方法（EAFO），并从ReLU中推导出了一种新的激活函数CRReLU。实验证明CRReLU在深度神经网络中表现优异，并在大型语言模型细调任务中展现出与GELU相比的卓越性能，显示其广泛的实际应用潜力。

May, 2024

本论文系统性地综述了各种类型的激活函数，包括固定形状、参数化、适应性、随机/概率性、非标准和组合类型。通过对各类激活函数的理论基础、数学公式以及在不同情境下的特点、优点和限制进行深入分析，同时还探讨了在专业应用中具有独特优势的其他激活函数和挑战传统范式的非标准激活函数。最后，通过严格的统计和实验方法对12种最先进的激活函数进行对比评估，以评估它们的有效性，并为选择和设计最适合特定深度学习任务的激活函数提供帮助。

Jul, 2024

本研究解决了不同深度学习模型对激活函数的不同需求这一问题。通过提出一种结合基本数学运算的细粒度搜索单元，本文能够高效识别适用特定应用的高性能激活函数，从而大幅提升模型性能。研究结果表明，该自动化过程比以往方法效率高出几个数量级，具有广泛的实用价值。

Aug, 2024