May, 2024

弱到强的搜索：通过在小型语言模型上进行搜索来对齐大型语言模型

PDF
TL;DR大规模语言模型通过使用弱到强的搜索方法进行调整，以增强模型的效果并提高模型的对齐能力。
large language modelsweak-to-strong searchalignmenttest-time greedy searchinstance of weak-to-strong generalization
发现论文，激发创造
  • 弱到强泛化的增益量化

    使用弱模型生成的标签对强模型进行微调可以显著提高强模型性能，本文提出了一个理论框架来解释这种弱到强的泛化现象，并通过多种实证评估验证了理论发现。

    May, 2024

  • 从文本分类到生成的贝叶斯弱强弱强

    当大型语言模型的进步引发了对于对齐技术将如何随着模型变得越来越复杂以及人类只能弱化地监督它们的疑问时，本文通过对一个弱模型监督使用强模型提供全功能的能力的模拟情境的研究实现了 WeakS-to-Strong 的扩展，模拟了人类意见的变异性。通过贝叶斯方法估计置信度分数来指导 WeakS-to-Strong 的泛化，并将其应用于文本生成任务，研究了更先进的监督策略，并且应用了直接偏好优化来推进学生模型的偏好学习。结果表明了该方法在强学生模型的可靠性方面的有效性，并显示其在超级对齐方面的潜力。

    May, 2024

  • 从弱监督中引发强能力：弱到强的泛化

    通过弱监督模型来训练强大的预训练模型，研究发现在自然语言处理、国际象棋和奖励建模任务中，弱模型引导强模型的普遍性能要优于弱模型，但仍然需要进一步研究以扩展到超人模型。利用辅助置信度损失方法，可以在自然语言处理任务中获得接近 GPT-3.5 级性能，这表明今天在修正超人模型的基本挑战上取得实证进展是可行的。

    Dec, 2023

  • 巨人的肩膀上：动态逻辑融合实现轻弱到强强的过渡

    通过使用逻辑融合方法，将专家模型的专业知识传递给更大的模型，从而实现高效的对大语言模型进行定制化微调。

    Jun, 2024

  • Go-tuning：提高较小语言模型的零样本学习能力

    本文探讨如何在较小模型的规模下，通过几何引导的自监督学习方法进行任务感知的自监督数据调整，实现与大型语言模型相当的零样本能力。Go-tuning 方法的实验表明 T5-small（80M）能够达到 T5-XL（3B）的竞争零样本结果，并开发了一个多任务模型 mgo-T5（250M），达到九个数据集的 OPT（175B）的平均性能。

    Dec, 2022

  • 视觉超对齐：视觉基础模型的弱到强泛化

    利用弱模型监督强模型以提升性能，采用新颖的自适应可调整损失函数进行弱强监督的综合实验，超越了基准性能和使用整个数据集进行微调的结果，展示了弱强泛化在提升视觉模型性能方面的重大潜力。

    Feb, 2024

  • 提升弱到强泛化性能的可靠性感知对齐

    通过提高弱监督信号的可靠性，我们的方法有效地识别了弱标签的质量，并显著提高了弱到强泛化能力，降低了噪声监督的误差传播，增强了大型语言模型的准确性和可靠性。

    Jun, 2024

  • 对比型偏好优化：推动机器翻译中 LLM 性能的边界

    大型语言模型在机器翻译方面表现出良好的性能，但是使用监督微调的方式仍存在一些问题，本研究引入了对比优选优化 (CPO) 方法来改进性能。通过将 CPO 应用于 ALMA 模型，可以在限定的数据和参数规模下达到与竞赛获胜者及 GPT-4 相当甚至超过其性能的 ALMA-R 模型。

    Jan, 2024

  • 使用小型语言模型来微调大型语言模型的仿真器

    通过借鉴 RL 的框架，引入了一种名为模拟微调（EFT）的技术，从而将预训练和微调的知识与技能解耦，并且通过扩大微调的规模来提高可帮助性，扩大预训练的规模来提高事实性，从而实现在测试时调整不同行为特征的方法，而无需额外训练。

    Oct, 2023

  • 机器翻译的范式转变：提升大型语言模型的翻译性能

    通过提出一种新的微调方法，我们设计了一种面向翻译任务的先进语言模型的翻译器 ALMA，该模型在 WMT'21 和 WMT'22 的测试数据集上相比于之前的工作和具有 7B 或 13B 参数的模型有着显著性能提升，并为机器翻译领域的新的训练范式奠定了基础。

    Sep, 2023