Aug, 2023

大型语言模型的指导调整：一项调研

PDF
TL;DR对于指令调优（IT）领域的研究进行了概述，它是增强和可控大型语言模型（LLMs）能力的关键技术。该研究系统回顾了 IT 的一般方法论、IT 数据集的构建、IT 模型的训练以及不同模态、领域和应用的应用，并分析了影响 IT 结果的因素（例如，指令输出的生成、指令数据集的大小等）。还审查了 IT 存在的潜在问题以及对其的批评，指出了现有策略的不足之处，并提出了一些有益的研究方向。
发现论文，激发创造
  • 大型语言模型的指令调优中的零 - shot 跨语言转移

    在多语种环境下，我们对指令调优进行了系统研究，发现跨语言转移成功的关键在于超参数调整和足够的训练数据，虽然英文训练的大型语言模型能够生成其他语言的正确、全面和有帮助的回答，但其可信度较低且可能偶尔出现流畅性错误。

    Feb, 2024

  • 指令调优的局限性

    在本研究中，通过对 LLMs 进行严格实验和深入分析，我们发现 Instruction Tuning 的各种限制，比如 IT 无法增强 LLMs 的知识或技能、从知识来源中复制响应模式会导致响应质量下降、全参数微调会增加虚构错误等。同时，我们的研究还表明，仅从预训练知识中生成的响应始终优于通过 IT 学习任何形式的新知识的模型生成的响应。

    Feb, 2024

  • 视觉语言指导调整：综述与分析

    通过对多模式大语言模型的最新图像语言指令调整设置和数据集的系统回顾，我们总结出高质量图像语言调整数据的特点，构建了完整的数据收集、指令生成和质量控制模块的构建流水线，并在所构建的指令数据上对三种广泛使用的多模式大语言模型进行了图像语言指令调整，并通过相应的度量指标进行了大量实验，以论证本文提出的构建原则的合理性。

    Nov, 2023

  • 指导调优的动力学：大型语言模型中的每个能力都有自己的增长速度

    基于全面的模型性能至诚态度，我们系统调查了数据量、参数规模和数据构建方法对各种能力发展的影响，并通过新的 40k 人工指导的指令数据集进行了数百个模型检查点（7b 到 33b）的全面指导优化。我们的研究揭示了三个主要发现：（i）尽管数据量和参数规模直接影响模型的整体性能，但某些能力更容易受到其增加的影响，并且可以通过有限数据进行有效训练，而某些能力对这些变化高度抵抗。（ii）人工指导的数据在效率上明显优于 GPT-4 的合成数据，并且可以随着数据量增加不断提高模型性能，而合成数据则无法达到这种效果。（iii）指令数据带来了强大的跨能力泛化性，域外数据的评估结果反映了前两个观察结果。此外，我们还展示了这些发现如何指导更高效的数据构建，从而在公共基准测试中实现实际性能的提升。

    Oct, 2023

  • LLM 指导调优的数据选择调查

    通过介绍使用的指导数据集，提出了数据选择方法的新分类，并详细介绍了最近的研究进展、评估策略和结果，强调了这一任务的挑战和新的前沿。

    Feb, 2024

  • 使用指令损失进行指令调整

    通过实验证明，Instruction Modelling 能够提高语言模型的性能，特别是在指令调整数据集不充足、指令长度与输出长度不匹配以及减少过拟合情况下，对低资源场景中的语言模型进行指令调整提供了实用指南。

    May, 2024

  • 或许只需要 0.5% 的数据：低训练数据指令调优的初步探索

    本文介绍了一种名为 Low Training Data Instruction Tuning (LTD Instruction Tuning) 的方式，从减少数据使用、优化任务性能、优化指令调整类型和使用任务特定模型等方面，降低大型语言模型（LLMs）指令调整的数据使用，提高数据利用效率。实验结果表明，可以使用少于原始数据集的 0.5% 来训练任务特定的模型，并且相较于使用完整的任务相关数据训练的模型，性能可提升 2%。

    May, 2023

  • SelectIT: 基于不确定性感知的选择性指导调整大型语言模型的方法

    使用 SelectIT 自动选择高质量的指令调优数据，并应用于选择性 Alpaca-GPT4 数据集，提高模型性能。

    Feb, 2024

  • 使用未标记数据学习指令，以实现零样本跨任务泛化

    本文提出了 Unlabeled Data Augmented Instruction Tuning (UDIT) 算法，通过使用未标注的文本数据构建伪标注数据，以更好地利用指令来提高指令微调的性能，实验结果表明 UDIT 在不同场景下都具有较好的效果。

    Oct, 2022

  • 探索上下文学习与指导调整之间的关系

    In this work, the relationship between In-Context Learning (ICL) and Instruction Tuning (IT) is explored by examining how the hidden states of Large Language Models (LLMs) change in these two paradigms, finding that ICL is implicit IT and the convergence is contingent upon factors related to the provided demonstrations.

    Nov, 2023