BriefGPT.xyz
Ask
alpha
关键词
sigsoftmax
搜索结果 - 1
Sigsoftmax：Softmax Engpass 的重新分析
该论文提出了一种输出激活函数 sigsoftmax 用于解决神经网络语言建模中的 softmax 瓶颈问题，它由指数函数和 sigmoid 函数的乘积构成，相对于 softmax 和混合 softmax，在语言建模实验中表现更好。
PDF
6 years ago
Prev
Next