IJCAIApr, 2024
LongVQ: 基于结构化记忆的长序列建模与向量量化
LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory
Zicheng Liu, Li Wang, Siyuan Li, Zedong Wang, Haitao Lin...
TL;DR长序列模型中,使用了 LongVQ 方法以更有效地利用向量量化技术来压缩全局抽象,并以线性时间计算注意力矩阵,有效地解决长距离依赖问题。