Feb, 2024

SelectIT: 基于不确定性感知的选择性指导调整大型语言模型的方法

PDF
TL;DR使用 SelectIT 自动选择高质量的指令调优数据，并应用于选择性 Alpaca-GPT4 数据集，提高模型性能。
instruction tuninglarge language modelsllmsselectitselective alpaca
发现论文，激发创造
  • 大型语言模型的指导调整：一项调研

    对于指令调优（IT）领域的研究进行了概述，它是增强和可控大型语言模型（LLMs）能力的关键技术。该研究系统回顾了 IT 的一般方法论、IT 数据集的构建、IT 模型的训练以及不同模态、领域和应用的应用，并分析了影响 IT 结果的因素（例如，指令输出的生成、指令数据集的大小等）。还审查了 IT 存在的潜在问题以及对其的批评，指出了现有策略的不足之处，并提出了一些有益的研究方向。

    Aug, 2023

  • 选择性反思调整：针对 LLM 指导调整的学生选取数据循环

    选择性反射微调是一种新型范式，通过结合教师型巨型语言模型的反思和内省以及学生型巨型语言模型的数据选择能力，自动优化现有的指示微调数据，从而生成高质量且与学生模型兼容的指示 - 回答对，提升巨型语言模型微调和自我改进的效率，实现卓越性能的巨型语言模型。

    Feb, 2024

  • 使用未标记数据学习指令，以实现零样本跨任务泛化

    本文提出了 Unlabeled Data Augmented Instruction Tuning (UDIT) 算法，通过使用未标注的文本数据构建伪标注数据，以更好地利用指令来提高指令微调的性能，实验结果表明 UDIT 在不同场景下都具有较好的效果。

    Oct, 2022

  • 指令调优的局限性

    在本研究中，通过对 LLMs 进行严格实验和深入分析，我们发现 Instruction Tuning 的各种限制，比如 IT 无法增强 LLMs 的知识或技能、从知识来源中复制响应模式会导致响应质量下降、全参数微调会增加虚构错误等。同时，我们的研究还表明，仅从预训练知识中生成的响应始终优于通过 IT 学习任何形式的新知识的模型生成的响应。

    Feb, 2024

  • 从数量到质量：通过自导数据选择提高 LLM 性能以进行指令调整

    大型语言模型的自主选择优化方法以及通过 IFD 指标识别差异以提高模型训练效率的研究对于提高 LLM 的效率和资源利用具有重要意义。

    Aug, 2023

  • 大型语言模型的指令调优中的零 - shot 跨语言转移

    在多语种环境下，我们对指令调优进行了系统研究，发现跨语言转移成功的关键在于超参数调整和足够的训练数据，虽然英文训练的大型语言模型能够生成其他语言的正确、全面和有帮助的回答，但其可信度较低且可能偶尔出现流畅性错误。

    Feb, 2024

  • 小型语言模型能为较大语言模型选择调整训练数据

    通过基于样本学习百分比的训练数据选择，我们展示了当前语言模型具备自主选择高质量训练数据的能力，这极大地降低了训练成本且达到或超过整个数据集训练的性能表现。

    Feb, 2024

  • 基于检索增强的大语言模型的开放式命名实体识别指令调整

    探索了检索增强的指示调节（RA-IT）方法在信息抽取领域的应用，特别关注开放式命名实体识别任务，通过从训练数据集中检索语义相似的例子作为上下文，并将其前置到原始指示的输入中，验证了 RA-IT 方法在不同数据规模和中英文情景下的有效性。

    Jun, 2024

  • 主动指令调整：通过对响应敏感任务进行训练来改善跨任务泛化能力

    通过基于提示不确定性的主动指导调整，本研究提出了一种新颖的框架来识别信息量大的任务，并在所选任务上主动调整模型，实验表明该方法在任务选择方面优于其他基准策略，并通过更少的训练任务实现了更好的超出分布的泛化性能。

    Nov, 2023

  • LLM 指导调优的数据选择调查

    通过介绍使用的指导数据集，提出了数据选择方法的新分类，并详细介绍了最近的研究进展、评估策略和结果，强调了这一任务的挑战和新的前沿。

    Feb, 2024