DELIA：多样性增强学习用于大型语言模型的指令适应
本文介绍了一种名为Low Training Data Instruction Tuning (LTD Instruction Tuning)的方式，从减少数据使用、优化任务性能、优化指令调整类型和使用任务特定模型等方面，降低大型语言模型（LLMs）指令调整的数据使用，提高数据利用效率。实验结果表明，可以使用少于原始数据集的0.5%来训练任务特定的模型，并且相较于使用完整的任务相关数据训练的模型，性能可提升2%。
May, 2023
本文介绍了如何使用Bactrian-X数据集；使用低秩适应（LoRA）的一组adapter进行多语言指令优化，取得了比现有模型更优的效果。
May, 2023
基于全面的模型性能至诚态度，我们系统调查了数据量、参数规模和数据构建方法对各种能力发展的影响，并通过新的40k人工指导的指令数据集进行了数百个模型检查点（7b到33b）的全面指导优化。我们的研究揭示了三个主要发现：（i）尽管数据量和参数规模直接影响模型的整体性能，但某些能力更容易受到其增加的影响，并且可以通过有限数据进行有效训练，而某些能力对这些变化高度抵抗。（ii）人工指导的数据在效率上明显优于GPT-4的合成数据，并且可以随着数据量增加不断提高模型性能，而合成数据则无法达到这种效果。（iii）指令数据带来了强大的跨能力泛化性，域外数据的评估结果反映了前两个观察结果。此外，我们还展示了这些发现如何指导更高效的数据构建，从而在公共基准测试中实现实际性能的提升。
Oct, 2023
通过引入自我演变机制DiverseEvol，我们提出了一种标签高效的指令调整方法，该方法允许模型自己主动采样同样或更有效的子集来改善自身性能，而无需人类干预或更先进的LLMs。在选择子集时，我们的数据采样技术的关键在于增强所选子集的多样性，使模型根据当前的嵌入空间选择与任何现有数据点都不同的新数据点。在三个数据集和基准测试中进行的大量实验证明了DiverseEvol的有效性。我们的模型在原始数据集的不到8%的训练基础上，与在完整数据上进行微调相比，性能保持或提高。我们还提供实证证据分析了多样性在指令数据中的重要性以及迭代方案与一次性采样的区别。我们的代码可以在此https URL公开获取。
Nov, 2023
本文介绍了一种高效且多功能的方法，用于从微调数据集中选择多样且高质量的指令跟踪数据。我们首先通过数据集的增强和扩展增加了更多多样性和高质量的数据，然后依次应用多样性压缩和质量压缩来筛选所需的数据集。实验结果表明，即使只有有限数量的高质量指令数据，LLMs在自然语言理解任务和代码生成任务中仍能保持稳定的性能，特别是在某些情况下超过了在明显更大的指令数据集上训练的模型。
Dec, 2023
大语言模型（LLMs）在单个查询中难以遵循一系列指令，从而可能忽略或错误解释其中的一部分，这影响了它们在需要多个中间步骤的复杂问题（例如多语言（翻译然后回答）和多模态（字幕然后回答）任务）中的性能。我们通过使用开源LLMs（如LLaMA-2 70B和Mixtral-8x7B）进行实证验证。针对当今数据中顺序指令的稀缺性，我们提出了顺序指令调整，这是一种简单而有效的策略，用于自动增加指令调整数据并赋予LLMs执行多个顺序指令的能力。通过探索Alpaca等现有数据集中的交替指令和各种中间任务，我们发现，顺序指令调整模型在涉及推理、多语言和多模态能力的下游任务中始终优于传统的指令调整基线。为了进一步阐明我们的技术，我们分析了敌对中间文本、未见任务、提示语言的表达、任务数量和提示长度对顺序指令调整的影响。我们希望这种方法能为复杂任务的指令调整开辟新的研究途径。
Mar, 2024
本研究解决了大语言模型在应对未见指令时的泛化能力问题。通过实验，我们发现模型的泛化能力仅在跨语义领域的数据多样性充足时才会显著提高，而在有限领域内的多样化不能保证强泛化。研究结果表明，数据多样性的战略重要性对模型性能优化具有深远影响。
Oct, 2024
本研究针对大型语言模型在不同任务中理解和执行指令的关键因素进行了深入探讨，指出数据多样性是提升模型对未见指令泛化能力的关键。通过实验，发现跨领域的数据多样性显著提高模型的适应性，提供了有价值的指导，帮助优化数据集合以提高模型性能。
Oct, 2024
本研究针对大语言模型微调过程中数据冗余和信息不足的问题，提出了一种新的算法DELIFT，旨在优化微调过程中数据的选择。通过引入一对对效用度量，DELIFT能够在指令调优、任务特定微调和持续微调的所有阶段高效选择多样化和最佳的数据子集，从而在不影响性能的前提下，减少高达70%的微调数据量，显著提高了计算效率。
Nov, 2024