Jul, 2024

弱到强的推理

HTML
PDF
TL;DR通过渐进学习框架，本文提出了一种使强模型能够自主改进其训练数据的方法，该方法开始于对选择的小规模高质量数据集的有监督微调，然后通过强模型自身找到的对比样本进行偏好优化。在GSM8K和MATH数据集上的广泛实验表明，我们的方法显著提高了Llama2-70b的推理能力，使用了三个不同的弱模型。在具有挑战性的OlympicArena数据集上，通过Llama3-8b-instruct有效地监督Llama3-70b，进一步验证了该方法的有效性。这项工作为提升人工智能推理能力提供了一个更具伸缩性和复杂性的策略。
发现论文，激发创造
  • 面向多步推理的小语言模型特化

    揭示了将大规模语言模型进行特化，使其在特定任务上具有相对较强的表现的可能性，并使用多步数学推理作为测试，通过设计优化措施来提高其广义性能。

    Jan, 2023

  • 从弱监督中引发强能力：弱到强的泛化

    通过弱监督模型来训练强大的预训练模型，研究发现在自然语言处理、国际象棋和奖励建模任务中，弱模型引导强模型的普遍性能要优于弱模型，但仍然需要进一步研究以扩展到超人模型。利用辅助置信度损失方法，可以在自然语言处理任务中获得接近GPT-3.5级性能，这表明今天在修正超人模型的基本挑战上取得实证进展是可行的。

    Dec, 2023

  • 优化语言模型的推理能力的弱监督方法

    利用自我强化机制提升大型语言模型（LLMs）的推理能力，并通过一个弱监督基准测试集 extsc{PuzzleBen}，含有 25,147 个复杂问题以及人工生成的解释，展示了利用较少的监督数据加强 LLMs 推理能力的有效方法。

    May, 2024

  • 弱到强泛化的增益量化

    使用弱模型生成的标签对强模型进行微调可以显著提高强模型性能，本文提出了一个理论框架来解释这种弱到强的泛化现象，并通过多种实证评估验证了理论发现。

    May, 2024

  • 弱到强的搜索：通过在小型语言模型上进行搜索来对齐大型语言模型

    大规模语言模型通过使用弱到强的搜索方法进行调整，以增强模型的效果并提高模型的对齐能力。

    May, 2024

  • 解释、辩论、对齐：一种弱到强的语言模型泛化框架

    本研究解决了AI系统对齐的复杂挑战，尤其是在多智能体系统和人机团队中。提出了一种通过弱到强泛化的方法来进行模型对齐，该方法通过强模型促进弱模型的改进，进而在解释生成与模型对齐之间架起桥梁。研究结果表明，这种促进性方法不仅提升了模型性能，还提供了模型对齐的深刻见解，并展示了可扩展的AI系统监督潜力。

    Sep, 2024

  • 从零到强的泛化：在没有黄金标签的情况下迭代引发大型语言模型的强能力

    本研究解决了大型语言模型（LLMs）在缺乏黄金标签时面临的能力限制问题。提出的“从零到强的泛化”新范式，通过迭代提示LLMs对未标注数据进行注释并保留高质量标签，显著提升了模型在下游任务上的表现。实验结果表明，该方法对多种模型尺寸、上下文学习及微调均有效。

    Sep, 2024

  • 超越准确性的弱到强泛化：安全性、毒性和法律推理的初步研究

    本研究针对大型语言模型（LLMs）对人类价值的对齐问题，强调现有方法在实际对齐任务下的不足。作者提出将弱到强的生成扩展至实际对齐任务，并通过实证研究表明这一现象在安全性、毒性和法律推理三项复杂任务中的广泛存在，旨在提高模型输出的质量和对齐性能。

    Oct, 2024

  • 从弱对齐模型中获取奖励的弱到强偏好优化

    本研究解决了语言模型与人类偏好对齐的有效性问题，提出了一种名为弱到强偏好优化（WSPO）的方法，该方法通过学习弱模型对齐前后的分布差异，从而实现强模型的对齐。实验结果表明，WSPO显著提升了模型的表现，表明利用弱模型来引导强模型以增强对齐能力是可行的。

    Oct, 2024

  • 语言模型是隐含推理者：通过自我奖励解锁潜在推理能力

    本研究解决了大型语言模型在多步骤复杂推理任务中表现不足的问题。提出的LaTent推理优化（LaTRO）框架通过变分方法优化推理过程和推理质量评估，且无需外部反馈或奖励模型。实验证明，LaTRO能显著提高模型的推理准确率，显示了预训练语言模型可通过自我改进方式解锁和增强潜在推理能力。

    Nov, 2024