Jul, 2024

ARM: 高效的带引导解码的自回归奖励模型

HTML
PDF
TL;DR在大量数据训练的语言模型中，需要仔细调整以在实际应用中安全部署。我们重新审查了引导解码范例，目标是使用任务特定奖励模型的评分来增强基础语言模型的逻辑回归。我们提出了一种简单但高效的自回归奖励模型参数化方法，实现了快速和有效的引导解码。在解毒和情感控制任务中，我们展示了我们高效参数化方法与RAD（一种功能强大但不够高效的引导解码方法）性能相当。
发现论文，激发创造
  • 带增强解码器输入的非自回归神经机器翻译

    本文提出了两种增强解码器输入以提高NAT模型的翻译准确性的方法，并表明这些方法在WMT14英德任务和WMT16英罗马任务中比NAT基线高出 $5.11$ BLEU分数和 $4.72$ BLEU分数。

    Dec, 2018

  • 基于评论引导的控制文本生成解码

    本文介绍了一种新型的批判性解码方法来实现语言生成的控制，在控制主题、情感和排毒方面，表现得比以前的方法更好，并且在零-shot情况下表现出卓越的泛化能力。

    Dec, 2022

  • 奖励增强解码：高效受控文本生成的单向奖励模型

    使用奖励增强解码（RAD）的文本生成过程，通过小型单向奖励模型来鼓励语言模型生成具有特定属性的文本，通过实验证明RAD在生成非有毒和情绪受控文本方面表现最佳，并且在减少计算开销方面与最先进的方法相媲美。

    Oct, 2023

  • 基于LLMs时代的解码方法全面研究

    该研究通过全面而多方位的分析，评估了大型语言模型在各种任务、模型和部署环境下的解码方法的性能表现、对超参数变化的鲁棒性和解码速度，发现解码方法的性能与任务相关，并受到对齐、模型规模和量化等因素的影响。有趣的敏感性分析揭示了某些方法在广泛超参数调节的代价下实现了更优的性能，凸显了在不同环境中实现最优结果与实施实用性之间的权衡。

    Feb, 2024

  • 自动生成巨大，快速生成：快速自回归解码的LLM-to-SLM

    我们提出了一种混合方法，结合不同规模的语言模型以提高自回归解码的效率，同时保持高性能。该方法利用一个预先训练的冻结语言模型来编码所有提示标记，然后使用生成的表示来引导一个较小的语言模型来更高效地生成响应。与LLM相比，我们的方法在翻译和摘要任务中实现了高达4倍的速度提升，但只有1-2%的性能损失。

    Feb, 2024

  • 正则化的最佳N抽样以减轻语言模型对齐中的奖励欺骗

    本研究提出了一种名为正则化最佳-n (RBoN) 的策略，通过在响应选择中加入相似性项来减少奖励欺骗问题，并评估了其在AlpacaFarm数据集上的表现，发现它们在代理奖励模型与真实目标的相关性较低时优于最佳-n (BoN)。

    Apr, 2024

  • 当线性注意力遇上自回归解码：朝着更有效和高效的线性化大型语言模型

    通过结合线性注意力和推测解码，我们对现有线性注意力方法在自回归大语言模型中的功效进行了全面研究，并引入了一种增强的线性化语言模型，实验证明其在训练和生成过程中比先前的线性注意力方法更有效率。

    Jun, 2024

  • 级联奖励采样用于高效解码时间对齐

    通过级联奖励采样（CARDS）技术，可以在高效并且成本低的情况下生成既有高奖励又符合高似然概率的文本，大幅提升生成效率和对齐评分。

    Jun, 2024

  • 多目标解码时间语言模型对齐

    多目标解码算法（MOD）通过线性组合基础模型的预测结果，在不同目标权重下输出下一个标记，实现语言模型（LMs）对多样用户需求的适应性优化，实验证明其在奖励改进和有害性减少方面具有显著效果。

    Jun, 2024

  • 集成价值引导下的推理时语言模型对齐

    本研究针对大语言模型在对齐人类偏好时面临的计算复杂性问题，提出了一种新方法“集成价值引导”（IVG）。该方法通过在推理阶段利用隐式和显式价值函数引导语言模型解码，从而实现高效对齐，显著提升了模型在情感生成和总结任务中的表现，并在指令跟随基准测试中验证了其有效性。

    Sep, 2024