BriefGPT.xyz
Ask
alpha
关键词
hedgehog
搜索结果 - 1
ICLR
刺猬与箭猪:具有 Softmax 模拟的表达性线性注意力
线性注意力可以提高 Transformer 的效率,将注意力的二次复杂性降低到与序列长度线性相关。线性注意力在训练线性 Transformer、将任务特定的 Transformer 转换为线性版本以恢复任务性能以及将大型语言模型转换为可在下
→
PDF
5 months ago
Prev
Next