本文介绍了一种高效且多功能的方法，用于从微调数据集中选择多样且高质量的指令跟踪数据。我们首先通过数据集的增强和扩展增加了更多多样性和高质量的数据，然后依次应用多样性压缩和质量压缩来筛选所需的数据集。实验结果表明，即使只有有限数量的高质量指令数据，LLMs 在自然语言理解任务和代码生成任务中仍能保持稳定的性能，特别是在某些情况下超过了在明显更大的指令数据集上训练的模型。

Dec, 2023

本文提出了 InstructMining 用于评估指令遵循数据的质量，并使用该方法选择高质量数据进行 Fei 调。研究结果表明，使用 InstructMining 所选择的数据集表现出更优的性能。

Jul, 2023

指令调整对于大型语言模型的校准是关键步骤。数据集选择是指令调整的核心挑战之一，因为指令调整数据集的组成可以显著影响后续性能。本文提出了一种新的系统 —— 质量 - 多样性指令调整（QDIT），提供了一个有原则的算法来控制数据集的多样性和质量，我们通过深入研究数据集多样性和质量对于指令调整性能的影响来得出两个关键见解：（1）数据集的多样性和质量之间存在自然的权衡关系，（2）增加数据集的多样性显著提高了最坏情况的指令跟随性能，从而提高了鲁棒性。通过在几个大规模指令调整数据集上验证 QDIT 的性能，我们发现它可以在维持或提高平均性能的同时，提高最坏情况性能达 18％，相比质量驱动基准线。

Nov, 2023

通过在图像文本对上进行预训练和在受监督的视觉语言指导数据上进行微调的两阶段训练，多模态大型语言模型实现了其遵循指令的能力。本文介绍了 InstructionGPT-4，该模型在仅包括 200 个示例的小数据集上进行了微调，相当于 MiniGPT-4 对齐数据集中使用的指令遵循数据的约 6％。我们首先提出了几个用于评估多模态指令数据质量的度量标准。基于这些度量标准，我们提出了一种简单而有效的数据选择器，用于自动识别和过滤低质量的视觉语言数据。采用这种方法，InstructionGPT-4 在各种评估（如视觉问答、GPT-4 偏好）上的表现优于原始的 MiniGPT-4。总的来说，我们的研究结果表明，较少但高质量的微调数据能够有效地提高多模态大型语言模型的输出质量。

Aug, 2023

本研究旨在选择数据子集用于大型语言模型的微调，以更有效地按照指令执行。我们使用决定性点过程来捕捉指令微调数据集的多样性和质量，提出使用以对数行列式距离衡量数据集的多样性。实验证明，在归一化权重梯度空间中所提出的多样性度量与下游指令跟随性能有关，可用于确定数据选择何时最有帮助，并分析数据集的策略。我们在各种指令微调数据集上展示了我们方法的实用性。

Feb, 2024

通过训练语言模型自动设计任务而收集高质量的教学适应数据的可扩展方法，自动生成任务指导、输入和输出，用于过滤噪音，并通过自动和手工评估实验来证明数据集的质量。

Sep, 2023

通过调整指令，大型语言模型（LLM）可以进行微调，实现真实世界任务执行和遵循人类指令；实现普遍使用的关键取决于模型学习更广泛的指令集而不仅仅是训练集上的指令。本文通过实验探究了指令多样性与模型普适性之间的权衡，发现多样性的指令集使模型具备普适性，并确保在训练集上非均匀分布指令的情况下保持鲁棒性。

Feb, 2024

通过基于样本学习百分比的训练数据选择，我们展示了当前语言模型具备自主选择高质量训练数据的能力，这极大地降低了训练成本且达到或超过整个数据集训练的性能表现。

Feb, 2024

大型语言模型的自主选择优化方法以及通过 IFD 指标识别差异以提高模型训练效率的研究对于提高 LLM 的效率和资源利用具有重要意义。

Aug, 2023

探索不依赖于封闭源模型生成高质量指令数据的替代方法，并通过整合有效的变体和两种新策略进一步提高其质量，我们的生成指令数据能够胜过依赖封闭源模型的 Alpaca 方法。希望在不使用封闭源模型的情况下能够取得更多的高质量指令数据生成进展。

Aug, 2023