BriefGPT.xyz
大模型
Ask
alpha
关键词
arctan
搜索结果 - 1
扩展的门控范围改善激活函数
探索使用反正切作为门控机制的自门控激活函数,该函数具有单调递增的一阶导数,通过引入每个 MLP 块的可训练参数来扩展门控函数的范围,实验证明这种技术改善了现有的自门控激活函数,并在 Transformer 架构中显示出优越性能。扩展的门控范
→
PDF
a month ago
Prev
Next