BriefGPT.xyz
Ask
alpha
关键词
opt-tree
搜索结果 - 1
OPT-Tree:具有自适应草稿树结构的猜测解码
OPT-Tree 算法通过构建自适应和可扩展的缓冲树结构,实现了一步生成多个标记,从而解决了自回归语言模型中推理效率受限的问题。该算法优于现有的缓冲结构,与自回归解码相比,实现了最高 3.2 倍的加速比。
PDF
11 days ago
Prev
Next