指导微调（IFT）是一种强化大型语言模型（LLM）的零样本能力的强大范式，但在此过程中引入了新的评估指标要求。我们展示了基于 LLM 的评估指标适应这些要求，并利用它们对任务专业化策略进行调查，量化在实际工业环境中出现的权衡。我们的发现为从业者在实际的 IFT 模型部署中提供了可行的见解。

Oct, 2023

本文研究现有的代码生成方法的性能限制，并引入了一种新的方法 Instruction Fusion（IF），该方法通过混合两个不同的提示来增强代码 LLM 的训练提示的演化，实验结果显示该方法显著改善了代码 LLM 在五个代码生成基准测试中的性能。

Dec, 2023

Auto Evol-Instruct 是一个自动分析和总结适合给定指令数据的进化策略，并通过改进指令进化过程中暴露的问题，迭代提高进化方法的端到端框架。通过广泛的实验证明，Auto Evol-Instruct 优化的最佳方法在 MT-Bench，AlpacaEval，GSM8K 和 HumanEval 等各种基准测试中优于人工设计的方法。

Jun, 2024

本文介绍了一种使用大型语言模型（LLM）替代人类创建指令数据的方法，通过使用我们提出的 Evol-Instruct，从一个初始指令集开始，逐步将其重写为更复杂的指令，然后将生成的所有指令数据混合起来，以调整 LLaMA 模型，获得我们所称的 WizardLM 模型。人类评估证明，Evol-Instruct 出产的指令优于人工创建的指令，尤其是在高复杂度方面，WizardLM 模型的输出被认为比 OpenAI ChatGPT 的输出更好。尽管 WizardLM 在某些方面仍落后于 ChatGPT，但我们的研究表明，用人工智能生成的指令进行微调是提升大型语言模型的一个有前途的方向。

Apr, 2023

自进化方法是通往超级智能的大语言模型的训练范式，本文概述了大语言模型中自进化方法的综合调查，包括概念框架、演化目标、现有挑战和未来发展方向。

Apr, 2024

通过本研究，我们发现指导微调对大型语言模型产生了三个重要影响，包括了对指令识别的加强、对知识存储层次的对齐以及对单词关系学习的促进。这些发现有助于更深入地理解指导微调对大型语言模型行为变化的影响，并为未来解释和优化这些模型以适用于不同应用领域的研究打下了基础。

Sep, 2023

首个可自动生成指示遵循训练数据的可扩展可靠方法 AutoIF，能够显著提高大型语言模型的指示遵循能力，有效应用于 SFT、Offline DPO 和 Online DPO 训练算法，可在自对齐和强对弱蒸馏设置下用于开源 LLMs 的优化。

Jun, 2024

本研究在大型语言模型（LLMs）对齐方面引入自我演进微调（SEFT），旨在消除对注释样本的需求，同时保持 SFT 的稳定性和效率。通过 SEFT，模型能利用大量未标志的数据进行策略优化。实验结果表明 SEFT 的有效性，并对其相对于现有对齐技术的优势进行了全面分析。

Jun, 2024

本文介绍了大型语言模型（LLMs）的迭代交互，以及多代理 LLM 系统和人类文化进化之间的相似之处，并运用迭代学习（IL）贝叶斯框架解释 LLMs 的一些行为特征，并通过实验证实了该理论框架的预测，有望更有效地预测和引导 LLMs 在期望的方向上的进化。

Apr, 2024

大型语言模型通过使用 ``思维链 '' 提示以逐步解决问题的方式更准确地解释，一种监督微调的方法是通过使用可调参数的梯度上升来最大化标记训练集中正确答案的平均对数似然。然而，我们提出了一种微调策略，尝试通过使用思维链提示最大化生成正确答案的`` 边际 '' 对数似然，大致平均所有可能的解释。我们使用受自学习推理器、备忘录式唤醒 - 休眠、马尔可夫性分数爬升和持续对比散度启发的简单马尔可夫链蒙特卡罗 - 期望最大化 (EM) 算法来解决条件于正确答案的解释后验分布的采样问题，并采用一种新颖的控制变量技术，随着模型的改进，将逐渐降低梯度估计的方差。将我们的技术应用于 GSM8K 和 BIG-Bench Hard 中的任务，我们发现这种 MCMC-EM 微调技术通常比 STaR 或带有或不带有思维链提示的微调方法在留存样例上提高模型准确性。

Nov, 2023