Jul, 2023

自我学习方法：引入最小指导调整的提前停止准则

PDF
TL;DR本文引入了指令追踪评分（IFS）这一度量标准，用于检测语言模型遵循指令的能力。我们通过基准测试公开可用的基础模型和指令模型，并展示了格式良好回应与部分和完整句子之间的比例可以作为这两类模型之间有效的衡量指标。此外，我们还利用 IFS 作为指令调整的早停准则，在 7B 和 13B LLaMA 模型的监督微调中计算 IFS，结果表明模型在训练过程中相对早期就学会了遵循指令，并且进一步微调可以导致基础模型语义的变化。我们通过一个辅助标准 ObjecQA 来展示模型预测的客观性的变化。我们展示了在这种情况下 IFS 趋于平稳时语义变化最为显著。我们希望将指令调整分解为 IFS，以便更好地处理和理解。
instruction following scorelanguage modelsbase and instruct modelssupervised fine-tuningsemantic changes
发现论文，激发创造
  • 自我对弈并结合执行反馈：提升大型语言模型的指令执行能力

    首个可自动生成指示遵循训练数据的可扩展可靠方法 AutoIF，能够显著提高大型语言模型的指示遵循能力，有效应用于 SFT、Offline DPO 和 Online DPO 训练算法，可在自对齐和强对弱蒸馏设置下用于开源 LLMs 的优化。

    Jun, 2024

  • 重新审视指令精调模型评估以指导工业应用

    指导微调（IFT）是一种强化大型语言模型（LLM）的零样本能力的强大范式，但在此过程中引入了新的评估指标要求。我们展示了基于 LLM 的评估指标适应这些要求，并利用它们对任务专业化策略进行调查，量化在实际工业环境中出现的权衡。我们的发现为从业者在实际的 IFT 模型部署中提供了可行的见解。

    Oct, 2023

  • 大型语言模型的分阶段指导微调

    通过渐进对齐的假设，我们提出了一种新颖的分阶段指令微调（Phased IFT）方法，基于难度评分并使用逐步训练的方式显著地提高了预训练语言模型的指令遵循能力。

    Jun, 2024

  • SIFo 基准测试：探索大型语言模型的顺序指令跟随能力

    评估大型语言模型（LLMs）遵循多个指令的能力面临诸多挑战，为解决这些问题，我们引入了一个基准测试，通过顺序指令跟踪任务评估模型的遵循多个指令的能力。

    Jun, 2024

  • 指令采集：大型语言模型高质量指令数据选取

    本文提出了 InstructMining 用于评估指令遵循数据的质量，并使用该方法选择高质量数据进行 Fei 调。研究结果表明，使用 InstructMining 所选择的数据集表现出更优的性能。

    Jul, 2023

  • 使用指令损失进行指令调整

    通过实验证明，Instruction Modelling 能够提高语言模型的性能，特别是在指令调整数据集不充足、指令长度与输出长度不匹配以及减少过拟合情况下，对低资源场景中的语言模型进行指令调整提供了实用指南。

    May, 2024

  • 自我指导：用自动生成的指令对齐语言模型

    使用 Self-Instruct 框架，可以将预训练模型与指令对齐，提高模型的指令遵循能力，无需过多人为指令数据，可用于 finetuning，大大提高了模型的通用性。

    Dec, 2022

  • 从数量到质量：通过自导数据选择提高 LLM 性能以进行指令调整

    大型语言模型的自主选择优化方法以及通过 IFD 指标识别差异以提高模型训练效率的研究对于提高 LLM 的效率和资源利用具有重要意义。

    Aug, 2023

  • FollowIR: 评估和教授信息检索模型遵循指导

    现代大型语言模型具备跟随长而复杂的指令以完成各种用户任务的能力。本研究引入了数据集 FollowIR，其中包含了严格的指令评估基准以及用于帮助信息检索模型学习更好地遵循真实世界指令的训练集。我们的结果表明现有的检索模型未能正确地使用指令，只是简单地使用关键词，并且难以理解长篇信息。然而，我们展示了信息检索模型学习遵循复杂指令的可能性：我们的新模型 FollowIR-7B 在我们的训练集上经过微调后有显著的改进（超过 13%）。

    Mar, 2024

  • 学习还是自我调整？重新思考指令微调

    通过知识干预框架，我们揭示了指导微调的潜在机制，并为最近和可能的未来工作提供了强有力的支持。

    Feb, 2024