多语言模型的协同解码学习

Mar, 2024

Learning to Decode Collaboratively with Multiple Language Models

Shannon Zejiang Shen, Hunter Lang, Bailin Wang, Yoon Kim, David Sontag

TL;DR我们提出了一种方法，通过在标记级别交替生成来教授多个大型语言模型（LLM）进行协作。我们将下一个标记由哪个 LLM 生成的决策建模为潜在变量。通过在潜在变量模型下优化训练集的边际似然，基础 LLM 自动学习何时生成自己，并在需要时调用其中一个 `` 助理 '' 语言模型进行生成，无需直接监督。解码过程中的标记级别协作允许以适应特定任务的方式融合每个模型的专长。我们的协作解码在跨领域设置中特别有用，其中广义的基础 LLM 学习调用领域专家模型。在指令遵循、领域特定问答和推理任务中，我们展示了联合系统的性能超过各个模型。通过对学习到的潜在决策进行定性分析，我们展示了使用我们方法训练的模型呈现了几种有趣的协作模式，例如模板填充。我们的代码可在此 URL 找到。

Abstract

We propose a method to teach multiple large language models (LLM) to collaborate by interleaving their generations at the token level. We model the decision of which LLM generates the next token as a latent variable. By optimizing the marginal likelihood of a training set under our lat

large language models collaboration latent variable model decoding cross-domain settings

发现论文，激发创造

社会学习：朝着与大型语言模型进行合作学习

在大型语言模型（LLMs）中，介绍了 “社交学习” 的框架，其中模型通过自然语言以隐私保护的方式共享知识。我们提出并评估了两种 LLMs 之间的知识传递方法，第一种情景中，模型生成抽象提示用于教授任务，而我们的第二种方法中，模型通过生成合成示例来传递知识。我们在多个数据集上评估了这些方法，并以记忆作为隐私损失的代理进行了量化。这些受社交学习启发的技术得到了有希望的结果，原始数据的记忆化较低。特别是，我们表明使用这些方法的性能与使用原始标签和提示的结果相当。我们的工作证明了社交学习在 LLMs 中的可行性，建立了基础方法，并突出了几个尚未开发的领域的重要性。

Dec, 2023

增强大型语言模型的事实性通过协同解码关键标记

使用协作解码框架来减少语言模型产生幻觉的重要性，通过利用预训练模型中的高度事实性来生成下一个标记，可以有效地降低模型的幻觉发生率。

Feb, 2024

利用大语言模型提升机器翻译：基于合作解码的初步研究

基于编码器 - 解码器框架的当代翻译引擎发展迅猛，而大型语言模型的出现破坏了它们的地位，提供了实现更优翻译质量的潜力。因此，了解 LLMs 是如何在何种场景下胜过传统 NMT 系统，以及如何发挥其优势，变得至关重要。本文首先进行了全面分析，评估了各种商业 NMT 系统和面向机器翻译的 LLMs 的优势和局限性。发现 NMT 系统和面向机器翻译的 LLMs 都不能有效解决所有翻译问题，但面向机器翻译的 LLMs 可以作为 NMT 系统的有希望的补充。基于这些发现，我们探索了混合方法，并提出了合作解码（CoDec）将 NMT 系统视为预翻译模型，将面向机器翻译的 LLMs 视为处理 NMT 系统无法覆盖的复杂场景的补充解决方案。在 WMT22 测试集和新收集的 WebCrawl 测试集上的结果表明，CoDec 的有效性和效率，突出了将 NMT 系统与面向机器翻译的 LLMs 相结合作为强大解决方案的潜力。

Nov, 2023

CodecLM: 用定制的合成数据对齐语言模型

通过使用编码 - 解码原理，我们引入了 CodecLM，这是一个用于自适应生成与不同后续指令分布和大语言模型对齐的高质量合成数据的通用框架。在编码过程中，我们将种子指令转化为元数据，然后通过解码来创建定制的指令。我们还引入自我评分和对比过滤来定制数据样本，经过在四个开放领域指令遵循基准测试上的大量实验证明，CodecLM 相对于当前技术水平具有显著的效果。

Apr, 2024

多智能体协作攻击：通过辩论研究大规模语言模型协作中的对抗攻击

评估模型网络在对抗影响下通过辩论进行合作时的行为，探索推理时间方法生成更令人信服的论点，并评估基于提示的缓解作为一种防御策略的潜力。

Jun, 2024

通过启用中间层解码加速 LLM 推理

我们的研究工作通过指令调整大型语言模型的推理过程，提升其效率同时保持生成质量，这是推广应用这类模型的重要一步。

Oct, 2023

大和小语言模型协同解码的经验研究

利用 Fast and Slow Generating（FS-GEN）统一框架，研究了大型语言模型（LLMs）与小型语言模型（SLMs）之间的协同解码，包括投机解码、对比解码和仿真或代理微调等技术，并通过 FS-GEN 解析了 LLMs 和 SLMs 之间的不同知识能力，揭示了协同交互的比例需求和基于不确定性的有效合作位置。

Jun, 2024

自动生成巨大，快速生成：快速自回归解码的 LLM-to-SLM

我们提出了一种混合方法，结合不同规模的语言模型以提高自回归解码的效率，同时保持高性能。该方法利用一个预先训练的冻结语言模型来编码所有提示标记，然后使用生成的表示来引导一个较小的语言模型来更高效地生成响应。与 LLM 相比，我们的方法在翻译和摘要任务中实现了高达 4 倍的速度提升，但只有 1-2% 的性能损失。

Feb, 2024

从解码到元生成：大型语言模型的推理时间算法

通过对大型语言模型的研究，发现在训练过程中提高计算能力可以取得更好的结果，然而对于推断阶段提高计算能力的好处却没有得到足够的关注。本文调查了推断阶段的几种方法，包括基于令牌级别的生成算法、元生成算法和高效生成方法，并从传统自然语言处理、现代大型语言模型和机器学习系统的角度统一了观点。

Jun, 2024

通过对比解码增强大型语言模型中的上下文理解能力

大型语言模型在生成文本时常常不能充分整合输入上下文，过度依赖模型参数中的编码先验知识，导致生成的文本存在事实不一致或上下文不忠实的内容。本研究提出了一种新颖的方法，利用对抗性无关信息作为负样本，通过对比解码来增强生成过程中的强大上下文基础。值得注意的是，我们的方法在推理时不需要额外的训练，并通过全面实验证明了其可行性和有效性，提供了实证证据表明其优于现有方法。

May, 2024