BriefGPT.xyz
Ask
alpha
关键词
softmax-free transformer
搜索结果 - 2
无 Softmax 的线性变换器
提出 SOftmax-Free Transformer (SOFT),其采用高斯核函数替代点积相似度,从而能够通过低秩矩阵分解逼近完整的自注意力矩阵,该模型能够明显提高现有 ViT 变体的计算效率,同时具有线性复杂度,且能够容纳更长的令牌序
→
PDF
2 years ago
SOFT: 线性复杂度的无 Softmax Transformer
提出了一种 softmax-free transformer 或 SOFT 方法,通过使用高斯内核函数替换点积相似性,而不需要标准化以消除 softmax,在计算复杂度上具有线性复杂度,并显著提高了已有 ViT 变种的计算效率。
PDF
3 years ago
Prev
Next