Nov, 2023
自主演化多样化数据采样用于高效指导调优
Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning
Shengguang Wu, Keming Lu, Benfeng Xu, Junyang Lin, Qi Su...
TL;DR通过引入自我演变机制 DiverseEvol，我们提出了一种标签高效的指令调整方法，该方法允许模型自己主动采样同样或更有效的子集来改善自身性能，而无需人类干预或更先进的 LLMs。在选择子集时，我们的数据采样技术的关键在于增强所选子集的多样性，使模型根据当前的嵌入空间选择与任何现有数据点都不同的新数据点。在三个数据集和基准测试中进行的大量实验证明了 DiverseEvol 的有效性。我们的模型在原始数据集的不到 8% 的训练基础上，与在完整数据上进行微调相比，性能保持或提高。我们还提供实证证据分析了多样性在指令数据中的重要性以及迭代方案与一次性采样的区别。我们的代码可以在此 https URL 公开获取。