sgelu | BriefGPT - AI 论文速递

关键词sgelu

搜索结果 - 1

饱和非单调激活函数
本文提出了一种新的非单调激活函数 SGELU，SSiLU 和 SMish，它们由 ReLU 的正部分和 GELU、SiLU 和 Mish 的负部分组成。实验结果表明，这些新的激活函数在多个深度学习架构上具有高效性能。
PDFa year ago