BriefGPT.xyz
Ask
alpha
关键词
linear mixers
搜索结果 - 1
ACL
FNet: 用 Fourier 变换混合 token
通过使用线性混合器代替自注意层,与标准的非线性前馈层一起能够在几个文本分类任务中模拟语义关系。用标准、非参数特定的傅里叶变化替换 Transformer 编码器中的自注意子层在 GLUE 基准测试上取得了 92-97% 的 BERT 模型的
→
PDF
3 years ago
Prev
Next