BriefGPT.xyz
Ask
alpha
关键词
non-monotonicity
搜索结果 - 1
饱和非单调激活函数
本文提出了一种新的非单调激活函数 SGELU,SSiLU 和 SMish,它们由 ReLU 的正部分和 GELU、SiLU 和 Mish 的负部分组成。实验结果表明,这些新的激活函数在多个深度学习架构上具有高效性能。
PDF
a year ago
Prev
Next