speculative sampling | BriefGPT

关键词speculative sampling

搜索结果 - 5

EAGLE-2：使用动态草稿树加速语言模型推理
推理时，现代大型语言模型（LLMs）昂贵且耗时，猜测性采样被证明是一种有效的解决方案。该论文分析了猜测性采样方法，如 EAGLE 的静态草稿树，然后提出了基于 EAGLE 改进的 EAGLE-2 模型，引入了一种上下文感知的动态草稿树技术，
PDF12 days ago
优化的 GPU 硬件加速器的推测采样
我们通过优化推测抽样方法来提高并行硬件加速器的采样速度，并通过并行计算矩阵、使用快速芯片内存存储中间结果以及对概率分布进行逼近的方法，显著改善了性能，但略微降低了准确性。
PDF20 days ago
Chimera：融合所有令牌的无损解码方法用于加速大规模语言模型推理
通过引入轻量级的草稿模型，Chimera 提出了一种用于投机采样的新型框架，以有效利用先前生成的令牌来预测后续单词，显著提高了大型语言模型在解码过程中的效率。
PDF4 months ago
PaSS：并行推测采样
通过使用并行解码，我们提出了一种使用单个模型从多个分词进行生成的方法，无需额外的计算成本或第二个模型，并表现出了令人期待的性能（最多可提高 30% 的速度），只需要最少 O (d_{emb}) 个附加参数。
PDF7 months ago
结合推测抽样和 KV-Cache 优化的基于 OpenVINO 的生成式人工智能技术的利用
通过使用推断优化和动态执行中的推测采样方法，结合模型优化技术，如量化，可以提供一种优化解决方案。执行过程中利用了 KV 缓存。
PDF8 months ago