BriefGPT.xyz
Ask
alpha
关键词
softmax-based dense self-attention
搜索结果 - 1
ICLR
Transformer-VQ: 基于向量量化的线性时间 Transformer
Transformer-VQ 是一种仅有解码器的 Transformer 模型,通过向量量化的键和新颖的缓存机制实现了线性时间内的高效 softmax 密集自注意力计算。在大规模实验中,Transformer-VQ 在质量方面表现出强大的竞
→
PDF
9 months ago
Prev
Next