BriefGPT.xyz
Ask
alpha
关键词
value vectors
搜索结果 - 1
关键标记的重要性指标在 KV 缓存降低中，注意力分数不是唯一的所需：价值也很重要
通过使用注意力得分和值向量的 L1 范数来评估令牌的重要性，我们提出了一种新的方法：Value-Aware Token Pruning (VATP)，它在 LLMs 中表现出卓越的性能。
PDF
18 days ago
Prev
Next