Nov, 2023

快速的思维链：从并行解码中窥见未来，更快地得出答案

PDF
TL;DR本文提出了 FastCoT，这是一个基于并行解码的模型无关框架，通过使用大小可变的上下文窗口来同时进行并行解码和自回归解码，从而充分利用 GPU 计算资源。通过广泛实验证明，FastCoT 相对于常规方法可以将推理时间缩短近 20％，而性能只有微不足道的下降。此外，研究还展示了上下文窗口大小对不同任务具有相当大的鲁棒性。
发现论文，激发创造
  • 通过隐藏传输进行并行解码以实现无损大型语言模型加速

    大型语言模型的并行解码技术，包括隐藏状态传递、树状注意机制和加速技术等，提高了模型推理速度和生成准确性。

    Apr, 2024

  • CLLMs：一致性大型语言模型

    通过改进 Jacobi 解码方法，使其能够在单次迭代中准确预测多个令牌，并在任何状态下快速收敛到固定点，从而实现了在生成速度和生成质量上的显著提升。

    Feb, 2024

  • 深度自回归模型的块并行解码

    该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。

    Nov, 2018

  • 揭示思维链背后的谜团：理论视角

    研究表明 Chain-of-Thought 提示可以显著改善大型语言模型的性能，特别是在涉及数学或推理的复杂任务中。本文首先对这些问题的潜在机制进行了理论方面的探讨， 然后通过构建的方式证明了带有 CoT 的自回归机器人可以解决基本算术方程问题和决策制定问题，并且具有动态编程方面的潜在应用。

    May, 2023

  • 思维递归：一种利用分治策略的多环境语言模型推理方法

    提出了一种名为 RoT 的推理框架，通过引入多个特殊标记来激活模型输出，以便将问题分成多个上下文，从而极大地改善了语言模型的推理能力，能够解决由数十万个标记组成的问题。

    Jun, 2023

  • 通过并行解码加速 Transformer 推理以进行翻译

    本文提出使用雅可比和高斯 - 塞德尔迭代方法对机器翻译的标准贪心自回归解码进行并行重构，以解决 transformers 对机器翻译的效率问题，实现了速度提高，而翻译质量保持。三种并行解码算法被提出并在不同语言和模型上进行了测试，速度提升最多可达 38％，在并行资源上实现的速度几乎达到 2 倍。同时，为了更好地理解模型的条件依赖关系和检查解码过程，提出了解码依赖图可视化器（DDGviz）

    May, 2023

  • 利用前瞻解码打破 LLM 推断的顺序依赖性

    使用准确并行的预读解码算法加速大型语言模型的自回归解码，从而减少总解码步骤，提高解码速度并充分发挥现代加速器的并行处理能力。

    Feb, 2024

  • 思维骨架：大型语言模型能够进行并行解码

    该研究旨在降低大型语言模型（LLMs）的端到端生成延迟，通过提出 “思维骨架”（SoT），该方法通过引导 LLMs 先生成答案的骨架，然后采用并行 API 调用或批量解码来同时完成每个骨架点的内容，从而显著提高速度（在 11 个不同的 LLMs 中高达 2.39 倍），在多个问题类别上潜在地提高答案的多样性和相关性。SoT 是一种以数据为中心的优化方法，展示了提升 LLMs 以更像人类思考的方式来提高答案质量的潜力。

    Jul, 2023

  • 通过推测解码从 Transformer 中实现快速推断

    本文提出了一种名为 “speculative decoding” 的算法，通过逐步并行地计算，采样自动回归模型可更快，同时采用了采样方法和一些新的技术，使得不改变分布的情况下，从大模型中精确解码变得更快，从而实现了不需要重新训练或架构更改即可支持现有模型的加速。在 T5-XXL 模型上的比较表明，该方法可以实现 2-3 倍的加速，而输出仍然与标准 T5X 实现相同。

    Nov, 2022

  • 高效译码的投机流水线执行

    通过使用预测值，基于 Transformer 架构的生成式大型语言模型 (SPEED) 能够并行地执行当前令牌以及多个未来令牌，从而提高推理效率，减少延迟，并在保持模型准确性的同时实现支持参数共享的更深层次解码器的训练。

    Oct, 2023