Oct, 2023

指导调优的动力学：大型语言模型中的每个能力都有自己的增长速度

PDF
TL;DR基于全面的模型性能至诚态度，我们系统调查了数据量、参数规模和数据构建方法对各种能力发展的影响，并通过新的 40k 人工指导的指令数据集进行了数百个模型检查点（7b 到 33b）的全面指导优化。我们的研究揭示了三个主要发现：（i）尽管数据量和参数规模直接影响模型的整体性能，但某些能力更容易受到其增加的影响，并且可以通过有限数据进行有效训练，而某些能力对这些变化高度抵抗。（ii）人工指导的数据在效率上明显优于 GPT-4 的合成数据，并且可以随着数据量增加不断提高模型性能，而合成数据则无法达到这种效果。（iii）指令数据带来了强大的跨能力泛化性，域外数据的评估结果反映了前两个观察结果。此外，我们还展示了这些发现如何指导更高效的数据构建，从而在公共基准测试中实现实际性能的提升。
instruction tuninglarge language modelsdata constructionmodel performanceinstruction data
发现论文，激发创造
  • 探究指令数据比例对大型语言模型的影响：基于实际应用案例的经验研究

    本文探讨了指令调整对大型语言模型性能的影响，并在在线应用案例中通过增加不同比例的指令数据探究了模型的表现。结果表明，增加指令数据可改善某些任务的表现，但对于数学和代码等任务，增加数据规模的改善效果不明显。

    Mar, 2023

  • 小型语言模型能为较大语言模型选择调整训练数据

    通过基于样本学习百分比的训练数据选择，我们展示了当前语言模型具备自主选择高质量训练数据的能力，这极大地降低了训练成本且达到或超过整个数据集训练的性能表现。

    Feb, 2024

  • 大型语言模型的指导调整：一项调研

    对于指令调优（IT）领域的研究进行了概述，它是增强和可控大型语言模型（LLMs）能力的关键技术。该研究系统回顾了 IT 的一般方法论、IT 数据集的构建、IT 模型的训练以及不同模态、领域和应用的应用，并分析了影响 IT 结果的因素（例如，指令输出的生成、指令数据集的大小等）。还审查了 IT 存在的潜在问题以及对其的批评，指出了现有策略的不足之处，并提出了一些有益的研究方向。

    Aug, 2023

  • 或许只需要 0.5% 的数据：低训练数据指令调优的初步探索

    本文介绍了一种名为 Low Training Data Instruction Tuning (LTD Instruction Tuning) 的方式，从减少数据使用、优化任务性能、优化指令调整类型和使用任务特定模型等方面，降低大型语言模型（LLMs）指令调整的数据使用，提高数据利用效率。实验结果表明，可以使用少于原始数据集的 0.5% 来训练任务特定的模型，并且相较于使用完整的任务相关数据训练的模型，性能可提升 2%。

    May, 2023

  • 人工课程指导的指令优化

    应用结构化认知学习方法于现代大型语言模型的指令调优，通过提供高度结构化合成数据集，模仿人类教育的渐进和有组织性，可以显著提升语言模型在理解和响应复杂指令和任务方面的能力。

    Oct, 2023

  • 视觉语言指导调整：综述与分析

    通过对多模式大语言模型的最新图像语言指令调整设置和数据集的系统回顾，我们总结出高质量图像语言调整数据的特点，构建了完整的数据收集、指令生成和质量控制模块的构建流水线，并在所构建的指令数据上对三种广泛使用的多模式大语言模型进行了图像语言指令调整，并通过相应的度量指标进行了大量实验，以论证本文提出的构建原则的合理性。

    Nov, 2023

  • 利用大卫对抗歌利亚：探索无需使用闭源模型的指导数据生成

    探索不依赖于封闭源模型生成高质量指令数据的替代方法，并通过整合有效的变体和两种新策略进一步提高其质量，我们的生成指令数据能够胜过依赖封闭源模型的 Alpaca 方法。希望在不使用封闭源模型的情况下能够取得更多的高质量指令数据生成进展。

    Aug, 2023

  • 从零开始的合成数据：通用指令调整用于语言模型

    借助预先策划的人类知识和能力分类体系， GLAN 是一种适用于大型语言模型（LLM）的通用且可扩展的指令调整方法，它能纵向横向生成大规模的合成指令数据，覆盖人类知识和技能的完整领域。

    Feb, 2024

  • 评估语言模型的零样本鲁棒性

    本研究提出了一种简单的方法来提高指导微调模型的鲁棒性，即通过引入 “软提示” 嵌入参数并优化这些参数来最大化语义等效说明的表示之间的相似性。

    Jun, 2023

  • LLM 指导调优的数据选择调查

    通过介绍使用的指导数据集，提出了数据选择方法的新分类，并详细介绍了最近的研究进展、评估策略和结果，强调了这一任务的挑战和新的前沿。

    Feb, 2024