BriefGPT.xyz
大模型
Ask
alpha
关键词
minicache
搜索结果 - 1
MiniCache:大型语言模型的键值缓存深度维度压缩
通过对大型语言模型的键 - 值缓存进行压缩,以降低内存占用,并提高高吞吐量和优化压缩比率。
PDF
a month ago
Prev
Next