通过建立统一的上下文提示优化框架，本研究旨在实现上下文提示和示例的联合优化，并提出了一个高效的自动提示优化框架 PhaseEvo，它结合了 LLMs 的生成能力和进化算法的全局搜索能力，通过创新的基于 LLMs 的变异操作提高搜索效率并加速收敛。实验证明，PhaseEvo 在保持良好效率的同时大幅度优于最先进的基线方法。

Feb, 2024

使用 Mixture-of-Expert 范例，将问题空间划分为子区域，为每个区域构建专业专家，通过演示集和一条指令来实现任务的智能引导。

Jun, 2024

通过引入一种称为 MoI 的新技术，结合指令拼接和多样化系统提示的策略来提高语言模型的对齐效率，我们取得了显著的编码、数学和工具使用任务生成能力的进展。

Apr, 2024

通过利用大型语言模型进行指导细化和多智能体协作，提出 CoEvol 框架来增强大型语言模型对指令的响应能力，并通过 MT-Bench 和 AlpacaEval 验证了其有效性。

Jun, 2024

通过多代理框架和迭代过程，基于高质量的初始查询和动态指令优化的图文生成模型，提供了改进用户输入提示设计的机制。

Jun, 2024

通过连接大型语言模型和进化算法，本论文提出了一种用于离散提示优化的新框架 ——EvoPrompt，极大地提升了语言理解和生成任务中大型语言模型的表现，并展示了语言模型与传统算法结合的协同效应。

Sep, 2023

本文介绍了一种使用大型语言模型（LLM）替代人类创建指令数据的方法，通过使用我们提出的 Evol-Instruct，从一个初始指令集开始，逐步将其重写为更复杂的指令，然后将生成的所有指令数据混合起来，以调整 LLaMA 模型，获得我们所称的 WizardLM 模型。人类评估证明，Evol-Instruct 出产的指令优于人工创建的指令，尤其是在高复杂度方面，WizardLM 模型的输出被认为比 OpenAI ChatGPT 的输出更好。尽管 WizardLM 在某些方面仍落后于 ChatGPT，但我们的研究表明，用人工智能生成的指令进行微调是提升大型语言模型的一个有前途的方向。

Apr, 2023

本文发现采用上下文学习作为指示学习方法（ICIL）可提高预训练和指示微调模型的零样本任务泛化能力，使用固定的单一提示来评估所有任务。

Feb, 2023

通过对开源 LLMs 进行微调，我们引入了 Ada-Instruct，一种自适应指令生成器。我们的结果表明，通过仅使用十个样本对开源 LLMs 进行微调，可以生成分布一致的长指令，用于复杂的推理任务。我们在不同的应用中进行了实证验证，包括代码补全、数学推理和常识推理，结果显示 Ada-Instruct 相对于基本模型、当前自我指导方法和其他最先进模型具有优势。

Oct, 2023

使用自然语言模型作为演化神经架构搜索算法的自适应变异和交叉操作，构建 EvoPrompting 方法，可有效设计准确高效的神经网络架构，用于图神经网络搜索等领域。

Feb, 2023