自适应参数化激活
本研究介绍一种可训练的混合激活函数方案,Adaptive Blending Units(ABUs),相比与传统方法具有自适应调整比例的能力,在实验中证明了ABUs和自适应缩放在训练效率等方面的优势,同时也探讨了其原理。
Jun, 2018
介绍了平衡激活(Balanced Activation)作为Sigmoid和Softmax激活函数的扩展,以适应目标检测中训练和测试之间的标签分布偏移;通过实验表明这种方法相对于当前最先进的方法提供了 ~3% 的性能提升,并且不需要引入额外的参数。
Aug, 2020
本研究旨在通过研究两种类型的自适应激活函数来填补理解有限数据情景下可变激活函数对分类准确性和预测不确定性的影响的重要空白。研究结果表明,具有个体训练参数的自适应激活函数(如ELU和Softplus)能够产生准确且自信的预测模型,优于固定形状激活函数和在隐藏层中使用相同可训练激活函数的不太灵活的方法。因此,该研究提供了在科学和工程问题中设计自适应神经网络的简洁方法。
Feb, 2024
训练激活函数APALU在深度学习中具有鲁棒性和适应性,通过提升深度神经网络和递归神经网络在各种任务中的学习性能,以及在图像分类、异常检测和回归任务中广泛应用的激活函数的改进,证明其在不同的深度学习应用中表现出稳定性和效率的特点。
Feb, 2024
我们提出了一种新的超表达激活函数,称为参数化基础通用激活函数(PEUAF)。通过在各种工业和图像数据集(包括CIFAR10、Tiny-ImageNet和ImageNet)上进行系统全面的实验,我们证明了PEUAF的有效性。此外,我们通过展示任意连续函数可以用具有特定超表达激活函数的固定大小网络以任意精度逼近的方法,显著推广了超表达激活函数的族群,这在最近的几个研究中已经得到证明。具体地,我们的工作解决了两个限制超表达激活函数发展的主要瓶颈:超表达函数的有限识别可能性,使得人们对其广泛适用性产生疑问,以及其常见的奇怪形式,导致人们对其在实际应用中的可扩展性和实用性产生怀疑。
Jul, 2024
本论文系统性地综述了各种类型的激活函数,包括固定形状、参数化、适应性、随机/概率性、非标准和组合类型。通过对各类激活函数的理论基础、数学公式以及在不同情境下的特点、优点和限制进行深入分析,同时还探讨了在专业应用中具有独特优势的其他激活函数和挑战传统范式的非标准激活函数。最后,通过严格的统计和实验方法对12种最先进的激活函数进行对比评估,以评估它们的有效性,并为选择和设计最适合特定深度学习任务的激活函数提供帮助。
Jul, 2024