Jun, 2024

优化的 GPU 硬件加速器的推测采样

PDF
TL;DR我们通过优化推测抽样方法来提高并行硬件加速器的采样速度，并通过并行计算矩阵、使用快速芯片内存存储中间结果以及对概率分布进行逼近的方法，显著改善了性能，但略微降低了准确性。
speculative samplingparallel hardware acceleratorsmatrix computationfast on-chip memoryapproximation approach
发现论文，激发创造
  • 利用投机抽样加速大型语言模型解码

    介绍了一种基于 “假设采样” 的算法，将 Transformer 解码加速 2 至 2.5 倍，同时保持样本质量和预测分布。

    Feb, 2023

  • GPU 上高效的 softmax 近似算法

    文章提出了一种名为自适应 softmax 的算法，采用字词聚类的方法来降低神经网络语言模型训练中的计算复杂度，并结合现代计算机体系结构和矩阵向量运算技术进一步提高了训练效率。实验结果表明该方法的效果稳定，能够在保证高精度的同时显著提高计算速度。

    Sep, 2016

  • BASS: 批处理优化注意力的推测采样

    该论文描述了一种批处理的推测解码系统，在多序列生成延迟方面达到了最新的技术水平，并在时间预算内展示出卓越的 GPU 利用率和生成质量。

    Apr, 2024

  • 结合推测抽样和 KV-Cache 优化的基于 OpenVINO 的生成式人工智能技术的利用

    通过使用推断优化和动态执行中的推测采样方法，结合模型优化技术，如量化，可以提供一种优化解决方案。执行过程中利用了 KV 缓存。

    Nov, 2023

  • 通过推测解码从 Transformer 中实现快速推断

    本文提出了一种名为 “speculative decoding” 的算法，通过逐步并行地计算，采样自动回归模型可更快，同时采用了采样方法和一些新的技术，使得不改变分布的情况下，从大模型中精确解码变得更快，从而实现了不需要重新训练或架构更改即可支持现有模型的加速。在 T5-XXL 模型上的比较表明，该方法可以实现 2-3 倍的加速，而输出仍然与标准 T5X 实现相同。

    Nov, 2022

  • PaSS：并行推测采样

    通过使用并行解码，我们提出了一种使用单个模型从多个分词进行生成的方法，无需额外的计算成本或第二个模型，并表现出了令人期待的性能（最多可提高 30% 的速度），只需要最少 O (d_{emb}) 个附加参数。

    Nov, 2023

  • 深度学习的稀疏 GPU 内核

    本文提出一种基于稀疏矩阵的计算优化方法，通过对深度学习应用中的稀疏矩阵进行深入研究，开发出可用于稀疏矩阵与密集矩阵乘法和采样密集 - 密集矩阵乘法的高性能 GPU 核，实现了神经网络模型的加速和内存节省。

    Jun, 2020

  • 大型语言模型在服务中采用预测解码和批处理的协同效应

    对于大型语言模型（LLMs）如 GPT，提出了一种新的自适应推测解码策略，通过批处理和推测解码技术提高 GPU 硬件利用率，并在各种 LLM 模型和 GPU 架构上进行了广泛的特征分析，结果显示新方法能够达到与固定长度推测解码方案相等或更好的性能。

    Oct, 2023

  • EMS-SD：高效的多样本猜测解码用于加速大型语言模型

    通过提出一种新方法，解决多样本推断速度提高中可变数量的 token 导致效率下降的问题，无需增加计算和内存开销，并且可以处理不一致的样本预测 token 的情况。

    May, 2024

  • 基于核采样的自适应采样 Softmax

    本文提出了基于核函数的采样方法并发展了高效的采样算法以减少对于大量样本情况下传统采样方法的偏倚问题。实验结果表明此方法相较于传统采样方法偏差较小并且需要的样本数更少。

    Dec, 2017