additive attention | BriefGPT

关键词additive attention

搜索结果 - 1

Fastformer：加性注意力足矣
本文介绍了 Fastformer 模型，这是一种基于加法注意力的高效 Transformer 模型，与现有的 Transformer 模型相比，它可以更有效地建模长文本，并且具有线性复杂度。
PDF3 years ago