Feb, 2024

LESS: 选择影响力数据以进行目标指导优化

PDF
TL;DR我们提出了 LESS，这是一种优化感知且实际高效的算法，用于有效估计数据影响并执行用于指令数据选择的低秩梯度相似性搜索。实验表明，在多样的下游任务中，使用 LESS 选中的 5% 的数据进行训练通常优于全数据集的训练。此外，所选数据具有高度可迁移性：可以利用较小的模型为较大的模型以及来自不同家族的模型选择有用的数据。我们的定性分析表明，我们的方法超越了表面形式线索，能够识别出在预期的下游应用中体现必要推理技能的数据。
instruction tuninglarge language modelstargeted instruction tuningdata influenceslow-rank gradient similarity search
发现论文，激发创造
  • 或许只需要 0.5% 的数据：低训练数据指令调优的初步探索

    本文介绍了一种名为 Low Training Data Instruction Tuning (LTD Instruction Tuning) 的方式，从减少数据使用、优化任务性能、优化指令调整类型和使用任务特定模型等方面，降低大型语言模型（LLMs）指令调整的数据使用，提高数据利用效率。实验结果表明，可以使用少于原始数据集的 0.5% 来训练任务特定的模型，并且相较于使用完整的任务相关数据训练的模型，性能可提升 2%。

    May, 2023

  • 小型语言模型能为较大语言模型选择调整训练数据

    通过基于样本学习百分比的训练数据选择，我们展示了当前语言模型具备自主选择高质量训练数据的能力，这极大地降低了训练成本且达到或超过整个数据集训练的性能表现。

    Feb, 2024

  • 少即是多：用于视觉指令调优的数据值估计

    通过对视觉指令数据集的实证研究，发现其存在显著冗余性，因此提出了一种新的数据选择方法 TIVE，它基于计算梯度估计了视觉指令的任务级别和实例级别价值，并根据估计值确定了视觉指令中的任务比例，选择代表性实例组成较小的训练集，实验证明该方法只需使用约 7.5% 的数据即可在七个基准测试中达到与完整数据微调模型相当甚至超过的性能改进。

    Mar, 2024

  • LLM 指导调优的数据选择调查

    通过介绍使用的指导数据集，提出了数据选择方法的新分类，并详细介绍了最近的研究进展、评估策略和结果，强调了这一任务的挑战和新的前沿。

    Feb, 2024

  • 指导调优的动力学：大型语言模型中的每个能力都有自己的增长速度

    基于全面的模型性能至诚态度，我们系统调查了数据量、参数规模和数据构建方法对各种能力发展的影响，并通过新的 40k 人工指导的指令数据集进行了数百个模型检查点（7b 到 33b）的全面指导优化。我们的研究揭示了三个主要发现：（i）尽管数据量和参数规模直接影响模型的整体性能，但某些能力更容易受到其增加的影响，并且可以通过有限数据进行有效训练，而某些能力对这些变化高度抵抗。（ii）人工指导的数据在效率上明显优于 GPT-4 的合成数据，并且可以随着数据量增加不断提高模型性能，而合成数据则无法达到这种效果。（iii）指令数据带来了强大的跨能力泛化性，域外数据的评估结果反映了前两个观察结果。此外，我们还展示了这些发现如何指导更高效的数据构建，从而在公共基准测试中实现实际性能的提升。

    Oct, 2023

  • RECOST: 基于外部知识引导的数据高效训练指导优化

    使用外部知识与基于上下文的相对预测熵评估由大型语言模型合成的样本，并结合多样性一致性抽样，提出了一种名为 RECOST 的框架，通过在合成数据集中实验展示了方法的有效性，并仅使用全数据集的 1％即可获得更好的结果。

    Feb, 2024

  • Superfiltering：快速指令调整的弱到强数据过滤

    通过 Superfiltering 方法，利用弱模型选择数据用于训练更大的语言模型，不仅大大提高了数据过滤速度，而且在标准基准测试中取得了更好的性能表现。

    Feb, 2024

  • G-DIG: 面向基于梯度的多样化和高质量指导数据选择的机器翻译

    我们提出了一种基于梯度的新方法，自动选择高质量和多样化的机器翻译指令微调数据。通过分析个别训练示例在训练过程中对模型的影响，我们选择对模型有益影响的示例作为高质量数据，并使用影响函数和一个小的高质量参考数据集。此外，为了提高训练数据的多样性，我们通过对梯度进行聚类和重新抽样来最大化它们对模型的影响的多样性。在 WMT22 和 FLORES 翻译任务上的大量实验证明了我们方法的优越性，深入分析进一步验证了它们的有效性和推广性。

    May, 2024

  • 抛弃糟粕保留精华：关于大规模语言模型微调中的数据选择的思考

    大规模语言模型的数据选择旨在从给定的候选数据集中选择一个高质量的子集，以训练一个挂起的微调模型进而得到一个选择性增强模型，以提高模型性能并加快训练进程。通过深入的分析和综述，我们发现具有数据特定和模型特定质量标签的更具针对性的方法具有更高的效率，但在设计选择算法时应避免引入额外的噪声信息，并总结了数据选择的趋势并强调了未来研究所面临的短期和长期挑战。

    Jun, 2024

  • 指导性调整的模型具有快速学习能力

    本文研究指令优化对增强模型转移学习和增强其在不同自然语言处理任务方面的效果，并表明在使用指令的预微调下，模型在单任务和多任务方面的性能都得到了提高。

    May, 2023