Jul, 2024
深度学习激活函数：定型、参数化、自适应、随机、杂项、非标准、集合
Deep Learning Activation Functions: Fixed-Shape, Parametric, Adaptive,
Stochastic, Miscellaneous, Non-Standard, Ensemble
TL;DR本论文系统性地综述了各种类型的激活函数，包括固定形状、参数化、适应性、随机/概率性、非标准和组合类型。通过对各类激活函数的理论基础、数学公式以及在不同情境下的特点、优点和限制进行深入分析，同时还探讨了在专业应用中具有独特优势的其他激活函数和挑战传统范式的非标准激活函数。最后，通过严格的统计和实验方法对12种最先进的激活函数进行对比评估，以评估它们的有效性，并为选择和设计最适合特定深度学习任务的激活函数提供帮助。