非线性增强的自适应激活函数
本研究提出了一种名为 Sqish 的新型激活函数,作为现有激活函数的替代品,我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性,在 CIFAR100 数据集上,使用 ShuffleNet V2 模型在 FGSM 对抗攻击中,相较于 ReLU 取得了 8.21% 的改进,并且在 CIFAR100 数据集上,使用 ShuffleNet V2 模型进行图像分类,相较于 ReLU 取得了 5.87% 的改进。
Oct, 2023
通过信息熵的角度,本研究理论上证明了存在具有边界条件的最差激活函数,提出了基于熵的激活函数优化方法(EAFO),并从 ReLU 中推导出了一种新的激活函数 CRReLU。实验证明 CRReLU 在深度神经网络中表现优异,并在大型语言模型细调任务中展现出与 GELU 相比的卓越性能,显示其广泛的实际应用潜力。
May, 2024
本文介绍了一种基于 Erf 函数和 ReLU 的新型激活函数 'ErfReLU',并比较了其与其他 9 种可训练激活函数在 CIFAR-10,MNIST 和 FMNIST 基准数据集上应用于 MobileNet,VGG16,ResNet 模型的性能分析。
Jun, 2023
采用自适应激活函数进行深度和物理知识神经网络中的回归以逼近光滑和不连续函数以及线性和非线性偏微分方程的解。该方法通过在激活函数中引入可扩展的超参数,并考虑前向问题和反向问题,显着提高了神经网络学习能力和近似解决方案的收敛速度、准确度和鲁棒性。
Jun, 2019
本研究旨在通过研究两种类型的自适应激活函数来填补理解有限数据情景下可变激活函数对分类准确性和预测不确定性的影响的重要空白。研究结果表明,具有个体训练参数的自适应激活函数(如 ELU 和 Softplus)能够产生准确且自信的预测模型,优于固定形状激活函数和在隐藏层中使用相同可训练激活函数的不太灵活的方法。因此,该研究提供了在科学和工程问题中设计自适应神经网络的简洁方法。
Feb, 2024
本文提出了一种新的非单调激活函数 SGELU,SSiLU 和 SMish,它们由 ReLU 的正部分和 GELU、SiLU 和 Mish 的负部分组成。实验结果表明,这些新的激活函数在多个深度学习架构上具有高效性能。
May, 2023