大型语言模型的分阶段指导微调

ACLJun, 2024

Phased Instruction Fine-Tuning for Large Language Models

Wei Pang, Chuan Zhou, Xiao-Hua Zhou, Xiaojie Wang

TL;DR通过渐进对齐的假设，我们提出了一种新颖的分阶段指令微调（Phased IFT）方法，基于难度评分并使用逐步训练的方式显著地提高了预训练语言模型的指令遵循能力。

Abstract

instruction fine-tuning, a method enhancing pre-trained language models' capabilities from mere next-word prediction to complex instruction following, often employs a one-off training approach on diverse instruct

instruction fine-tuning phased ift progressive alignment pre-trained language models instruction-following capabilities

发现论文，激发创造

InstructionGPT-4：Fine-Tuning MiniGPT-4 的 200 指令范式

通过在图像文本对上进行预训练和在受监督的视觉语言指导数据上进行微调的两阶段训练，多模态大型语言模型实现了其遵循指令的能力。本文介绍了 InstructionGPT-4，该模型在仅包括 200 个示例的小数据集上进行了微调，相当于 MiniGPT-4 对齐数据集中使用的指令遵循数据的约 6％。我们首先提出了几个用于评估多模态指令数据质量的度量标准。基于这些度量标准，我们提出了一种简单而有效的数据选择器，用于自动识别和过滤低质量的视觉语言数据。采用这种方法，InstructionGPT-4 在各种评估（如视觉问答、GPT-4 偏好）上的表现优于原始的 MiniGPT-4。总的来说，我们的研究结果表明，较少但高质量的微调数据能够有效地提高多模态大型语言模型的输出质量。

Aug, 2023

指令微调语言模型的扩展

本文研究了在指令集合中对语言模型进行微调以改善其性能及推广其应用的方法，重点探讨了任务规模的扩展、模型大小的扩展和链式推理数据的微调，发现通过上述方面的微调显著提高了包括 PaLM、T5、U-PaLM 在内的各种模型类别，在零样本、少样本和 CoT 环境中的表现，以及在多项基准测试中的表现。

Oct, 2022

学习还是自我调整？重新思考指令微调

通过知识干预框架，我们揭示了指导微调的潜在机制，并为最近和可能的未来工作提供了强有力的支持。

Feb, 2024

重新审视指令精调模型评估以指导工业应用

指导微调（IFT）是一种强化大型语言模型（LLM）的零样本能力的强大范式，但在此过程中引入了新的评估指标要求。我们展示了基于 LLM 的评估指标适应这些要求，并利用它们对任务专业化策略进行调查，量化在实际工业环境中出现的权衡。我们的发现为从业者在实际的 IFT 模型部署中提供了可行的见解。

Oct, 2023

构建联邦 GPT: 联邦指导调优

本文提出了一种基于联邦学习的指令调整方法，名为 FedIT，它可以利用客户端上存储的异构和多样化指令，保护隐私和确保数据安全，提高了 LLM 的性能，同时在 GitHub 上开发了名为 Shepherd 的基础框架，提供了探索异构指令下的联邦微调 LLM 的支持。

May, 2023

使用 GPT-4 进行指令调优

本文利用 GPT-4 生成的 instruction-following 数据进行大型语言模型 finetuning，发现相较于之前最先进模型生成的数据，52K 的英文和中文 instruction-following 数据可以显着提高新任务的零 - shot 性能。同时我们公开了 GPT-4 生成的数据以及我们的代码库。

Apr, 2023

从语言建模到指令遵循：理解指令调优后 LLMs 的行为转变

通过本研究，我们发现指导微调对大型语言模型产生了三个重要影响，包括了对指令识别的加强、对知识存储层次的对齐以及对单词关系学习的促进。这些发现有助于更深入地理解指导微调对大型语言模型行为变化的影响，并为未来解释和优化这些模型以适用于不同应用领域的研究打下了基础。

Sep, 2023

大型语言模型的指导调整：一项调研

对于指令调优（IT）领域的研究进行了概述，它是增强和可控大型语言模型（LLMs）能力的关键技术。该研究系统回顾了 IT 的一般方法论、IT 数据集的构建、IT 模型的训练以及不同模态、领域和应用的应用，并分析了影响 IT 结果的因素（例如，指令输出的生成、指令数据集的大小等）。还审查了 IT 存在的潜在问题以及对其的批评，指出了现有策略的不足之处，并提出了一些有益的研究方向。

Aug, 2023

自我学习方法：引入最小指导调整的提前停止准则

本文引入了指令追踪评分（IFS）这一度量标准，用于检测语言模型遵循指令的能力。我们通过基准测试公开可用的基础模型和指令模型，并展示了格式良好回应与部分和完整句子之间的比例可以作为这两类模型之间有效的衡量指标。此外，我们还利用 IFS 作为指令调整的早停准则，在 7B 和 13B LLaMA 模型的监督微调中计算 IFS，结果表明模型在训练过程中相对早期就学会了遵循指令，并且进一步微调可以导致基础模型语义的变化。我们通过一个辅助标准 ObjecQA 来展示模型预测的客观性的变化。我们展示了在这种情况下 IFS 趋于平稳时语义变化最为显著。我们希望将指令调整分解为 IFS，以便更好地处理和理解。

Jul, 2023

FinGPT: 金融数据集中开源大型语言模型的指令调整基准

在自然语言处理（NLP）领域中，基于 GPT 模型在金融领域的潜力日益显现。然而，将这些模型与金融数据集结合存在一些挑战，特别是在确定它们的熟练程度和相关性方面。本文介绍了一种独特的方法，该方法以指令调整范式为基础，专门适用于金融环境中的开源大型语言模型。通过这种方法，我们充分利用开源模型的互操作性，确保了无缝透明的集成。我们首先解释了指令调整范式，强调其对即时集成的有效性。本文提出了一个基准测试方案，用于端到端的训练和测试，采用一种经济有效的进展方式。首先，我们评估了基本能力和基本任务，例如命名实体识别（NER）和情感分析，以增强特性。接下来，我们深入研究了一个全面的模型，通过汇集所有指令调整来执行多任务操作，以检验其多样性。最后，我们通过标记未见任务并结合新颖的数据集探索了零样本能力，以了解在未知领域的适应性。这样的范式巩固了开放性和可重现性的原则，为未来在开源金融大型语言模型（FinLLMs）中的研究奠定了坚实的基础。

Oct, 2023