vector-quantized keys | BriefGPT

关键词vector-quantized keys

搜索结果 - 1

ICLRTransformer-VQ: 基于向量量化的线性时间 Transformer
Transformer-VQ 是一种仅有解码器的 Transformer 模型，通过向量量化的键和新颖的缓存机制实现了线性时间内的高效 softmax 密集自注意力计算。在大规模实验中，Transformer-VQ 在质量方面表现出强大的竞
PDF9 months ago