通过基于样本学习百分比的训练数据选择，我们展示了当前语言模型具备自主选择高质量训练数据的能力，这极大地降低了训练成本且达到或超过整个数据集训练的性能表现。

Feb, 2024

通过介绍使用的指导数据集，提出了数据选择方法的新分类，并详细介绍了最近的研究进展、评估策略和结果，强调了这一任务的挑战和新的前沿。

Feb, 2024

指令调整对于大型语言模型的校准是关键步骤。数据集选择是指令调整的核心挑战之一，因为指令调整数据集的组成可以显著影响后续性能。本文提出了一种新的系统 —— 质量 - 多样性指令调整（QDIT），提供了一个有原则的算法来控制数据集的多样性和质量，我们通过深入研究数据集多样性和质量对于指令调整性能的影响来得出两个关键见解：（1）数据集的多样性和质量之间存在自然的权衡关系，（2）增加数据集的多样性显著提高了最坏情况的指令跟随性能，从而提高了鲁棒性。通过在几个大规模指令调整数据集上验证 QDIT 的性能，我们发现它可以在维持或提高平均性能的同时，提高最坏情况性能达 18％，相比质量驱动基准线。

Nov, 2023

基于全面的模型性能至诚态度，我们系统调查了数据量、参数规模和数据构建方法对各种能力发展的影响，并通过新的 40k 人工指导的指令数据集进行了数百个模型检查点（7b 到 33b）的全面指导优化。我们的研究揭示了三个主要发现：（i）尽管数据量和参数规模直接影响模型的整体性能，但某些能力更容易受到其增加的影响，并且可以通过有限数据进行有效训练，而某些能力对这些变化高度抵抗。（ii）人工指导的数据在效率上明显优于 GPT-4 的合成数据，并且可以随着数据量增加不断提高模型性能，而合成数据则无法达到这种效果。（iii）指令数据带来了强大的跨能力泛化性，域外数据的评估结果反映了前两个观察结果。此外，我们还展示了这些发现如何指导更高效的数据构建，从而在公共基准测试中实现实际性能的提升。

Oct, 2023

通过训练语言模型自动设计任务而收集高质量的教学适应数据的可扩展方法，自动生成任务指导、输入和输出，用于过滤噪音，并通过自动和手工评估实验来证明数据集的质量。

Sep, 2023

本文介绍了一种名为 Low Training Data Instruction Tuning (LTD Instruction Tuning) 的方式，从减少数据使用、优化任务性能、优化指令调整类型和使用任务特定模型等方面，降低大型语言模型（LLMs）指令调整的数据使用，提高数据利用效率。实验结果表明，可以使用少于原始数据集的 0.5% 来训练任务特定的模型，并且相较于使用完整的任务相关数据训练的模型，性能可提升 2%。

May, 2023

大型语言模型的自主选择优化方法以及通过 IFD 指标识别差异以提高模型训练效率的研究对于提高 LLM 的效率和资源利用具有重要意义。

Aug, 2023

探索不依赖于封闭源模型生成高质量指令数据的替代方法，并通过整合有效的变体和两种新策略进一步提高其质量，我们的生成指令数据能够胜过依赖封闭源模型的 Alpaca 方法。希望在不使用封闭源模型的情况下能够取得更多的高质量指令数据生成进展。

Aug, 2023

我们提出了一种基于梯度的新方法，自动选择高质量和多样化的机器翻译指令微调数据。通过分析个别训练示例在训练过程中对模型的影响，我们选择对模型有益影响的示例作为高质量数据，并使用影响函数和一个小的高质量参考数据集。此外，为了提高训练数据的多样性，我们通过对梯度进行聚类和重新抽样来最大化它们对模型的影响的多样性。在 WMT22 和 FLORES 翻译任务上的大量实验证明了我们方法的优越性，深入分析进一步验证了它们的有效性和推广性。

May, 2024

指导调优通过仅利用指导信息来识别相关任务，并另外学习元数据集的独特指导模板风格，提高任务选择准确性，从而改进了性能。

Apr, 2024