Feb, 2024

基于锚定的大型语言模型

TL;DR本研究引入了基于锚点的 LLM (AnLLM) 模型,该模型利用了一种创新的基于锚点的自注意力网络 (AnSAN) 和一种基于锚点的推理策略,将序列信息压缩到锚点令牌中,从而减少键 / 值缓存并提高推理效率。实验证明,AnLLM 在保持可比精度的同时缩减了 99% 的键 / 值缓存,并实现了高达 3.5 倍的更快推理速度。尽管在精度上有轻微折衷,AnLLM 在计算效率和资源利用方面具有显著改善,展示了锚点式注意力方法在实际应用中对于实时推理的潜力。