May, 2024

SED: 自我评价解码增强大型语言模型以实现更好的生成

PDF
TL;DR现有的大语言模型通过单向自回归解码方法生成文本，但这种方法在处理不确定 token 时容易遇到次优选择，而该研究提出了一种名为 SED 的自我评估解码方法以优化模型生成。实验结果表明 SED 在各种任务和不同模型上具有良好的效果。
large language modelsautoregressive decodingchaotic pointsself-evaluation decodingmodel generation
发现论文，激发创造
  • 扩散语言建模的承诺、展望与挑战

    现代自回归型大型语言模型在自然语言处理基准测试中表现出色并应用于实际领域。然而，它们仍然受到自回归训练范式的一些限制。本文评估了最近提出的基于得分熵离散扩散 (SEDD) 的方法，并表明它是自回归生成的有希望的替代方案，但也存在一些不足之处。我们实证地展示了 SEDD 的优势和挑战，并观察到 SEDD 在困惑度和 HellaSwag、Arc 或 WinoGrande 等基准测试上一般与自回归模型相匹配。此外，我们还展示了 SEDD 在推理延迟方面比 GPT-2 高效多达 4.5 倍。虽然 SEDD 允许在任意位置上进行条件生成，但在给定短提示的条件生成方面，SEDD 似乎比 GPT-2 稍逊一筹。最后，我们复现了原始 SEDD 论文的主要结果。

    Jun, 2024

  • 基于解码器为基础的语言模型的文本生成自动评估方法探索

    基于大型编码器和解码器语言模型的自动评估方法在文本生成任务中表现比调整后的编码器模型差，研究还发现解码器模型关注于表面字词序列而忽略了意义，同时发现调整后的解码器模型难以识别细粒度语义差异。

    Oct, 2023

  • 大语言模型推理中的效率增强：专门解码的综合调查

    通过提出实例、讨论关键方面，总结了 Speculative Decoding 的定义、技术、挑战和未来方向，以加速 LLM 推理过程。

    Jan, 2024

  • 通过提前退出进行投机解码以加速 LLM 推断，并采用汤普森抽样控制机制

    在大型语言模型中，我们提出了一种新的方法，即具有无损加速的早期退出推理（EESD），通过在前 N 层后引入早期退出结构，利用语言模型的一部分生成初步令牌，并通过自蒸馏方法提高初步令牌的质量。我们还引入了一种新的采样机制，利用汤普森采样调节生成过程，自动确定每一轮的初步令牌数量。实验结果表明，与先前的方法相比，我们的方法在解码令牌时具有明显的加速效果。

    Jun, 2024

  • SED: 开放词汇语义分割的简单编码器 - 解码器

    我们提出了一种名为 SED 的简单的编码器 - 解码器模型用于开放词汇语义分割任务，该模型通过分层背骨和渐进融合解码器实现像素级图像分割，同时引入了类别早期拒绝机制以加快推理速度，实验证明该方法在多个数据集上的性能表现良好

    Nov, 2023

  • SDSAT：通过语义自适应标记的推理进行推测解码的加速

    通过引入具有语义自适应能力的令牌，提出一种用于大型语言模型（LLM）的加速方案（SDSAT）。该方案通过细调模型和使用训练方法，以及使用新的生成策略，能够在不影响模型准确性的情况下，提高模型生成草稿令牌的准确性，并且在 CodeLlama-13B 和 7B 模型上实验，分别获得了超过 3.5X 和 3.0X 的加速效果。

    Mar, 2024

  • 利用短文本模型高效理解长文本

    提出了一种名为 SLED 的机制，通过对输入进行重叠切块、使用预训练过的短文本语言模型编码并在解码器中进行信息融合，从而实现处理长序列的目标，其竞争力与特定任务的大型模型不相上下。

    Aug, 2022

  • 大型语言模型中自我评估提高选择性生成

    使用大型语言模型进行自我评估可以提高生成内容的准确性，并与生成内容的整体质量更好地相关。

    Dec, 2023

  • 投机的对比解码

    通过对大型语言模型进行推测性对比解码，提高了生成质量的同时节省了计算资源。

    Nov, 2023

  • 思考性解码：利用现成语言模型实现双向生成

    本文提出了一种名为 “Reflective Decoding” 的新型无监督算法，可将单向的语言模型应用于非顺序生成任务，如释义和文本填充。实验证明，相较于基线方法，该算法在多个指标上表现更优秀，甚至超越了多个基于监督学习的基线模型。

    Oct, 2020