多阶段语言模型程序的指示和演示优化

Jun, 2024

多阶段语言模型程序的指示和演示优化

Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs

Krista Opsahl-Ong, Michael J Ryan, Josh Purtell, David Broman, Christopher Potts...

TL;DR为了最大化下游度量而没有模块级别的标签或梯度，我们研究了语言模型程序的提示优化，即如何更新这些提示。我们通过优化自由形式的指令和少样本演示来解决这个问题，并引入了几种策略来制定任务相关的指令和在模块之间导航学分分配。使用这些策略，我们开发了一个名为 MIPRO 的新型优化器，在使用最先进的开源模型（Llama-3-8B）的六个不同的语言模型程序中，准确率高达 12.9% 优于基线。我们将在此 URL 发布我们的新优化器和基准测试。

Abstract

language model programs, i.e. sophisticated pipelines of modular language model (LM) calls, are increasingly advancing NLP tasks, but they require crafting prompts that are jointly effective for all modules. We study prompt optimization for LM programs, i.e. how to update these prompts

language model programs prompt optimization lm construct proposals mipro downstream metric

发现论文，激发创造

一个提示不够：混合专家提示的自动构建

使用 Mixture-of-Expert 范例，将问题空间划分为子区域，为每个区域构建专业专家，通过演示集和一条指令来实现任务的智能引导。

Jun, 2024

大型语言模型作为优化器

在此工作中，我们提出了一种名为 OPRO 的优化方法，利用大型语言模型作为优化器，通过自然语言描述优化任务。我们首先展示了 OPRO 在线性回归和旅行商问题上的应用，然后转向优化提示，目标是找到最大化任务准确性的指令。我们通过多种大型语言模型的实验证明，OPRO 通过优化提示的方式胜过人工设计的提示，在 GSM8K 上提高了最多 8％，在 Big-Bench Hard 任务上提高了最多 50％。

Sep, 2023

双相加速提示优化

通过采用良好设计的元指令，我们提出了一个双重阶段的方法来加速提示优化过程，以应对低收敛速度的挑战，并在句级别上迭代优化提示，利用之前的调优经验扩展提示候选并接受有效的候选。对八个数据集进行的大量实验证明了我们提出的方法的有效性，在少于五次优化步骤的情况下与基准模型相比实现了一致的准确率提升。

Jun, 2024

多步任务中的智能提问优化：融合人类反馈和偏好对齐

通过结合人类设计的反馈规则，采用基于遗传算法的大语言模型驱动的离散提示优化框架，实现了对多步任务中自动提示的改进，相比现有的方法，平均有 27.7% 和 28.2% 的改善效果。

Feb, 2024

DSPy: 将声明式语言模型调用编译成自我优化的流水线

通过引入 DSPy 编程模型，我们设计了一种优化任何 DSPy 管道的编译器，该编译器能够使 GPT-3.5 和 llama2-13b-chat 等小型模型通过少量代码自我启动管道，并在计算数学问题、处理多跳检索、回答复杂问题和控制任务时比标准的少样本提示和专家演示的管道性能高出 25% 至 65% 不等。

Oct, 2023

重新审视 OPRO：小规模语言模型作为优化器的局限性

通过使用 LLMs 作为优化器找到最大化任务准确性的指令，Optimization by PROmpting (OPRO) 方法在相对小规模的 LLMs 上展现了有限的有效性，我们建议未来的自动提示工程要考虑模型能力和计算成本，并针对小规模 LLMs 使用明确概述目标和方法的直接指令作为鲁棒的提示基准，以确保正在进行的研究中的高效有效的提示工程。

May, 2024

释放大语言模型作为启发优化器的潜力：一种与基于梯度的模型优化器的类比分析

自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的 LLM-based 提示优化器的策略。实验结果表明 GPO 具有有效性和高效性，并分别相对基准方法在 Big-Bench Hard 和 MMLU 上带来了多达 56.8% 和 55.3% 的额外改进。

Feb, 2024

InstOptima: 多目标进化指令优化方法 —— 基于大型语言模型的指令操作

我们提出了一种名为 InstOptima 的新方法，将指导生成作为一种进化多目标优化问题，并借助大型语言模型模拟指导操作符，通过引入一个目标引导机制来改进生成指导的质量，实验证明了改进的微调性能和生成一系列高质量指导的多样性。

Oct, 2023

命令作为程序：一种结构感知的高效编译时命令优化方法

通过引入 SAMMO 框架，我们可以优化 meta prompt 程序，进而改善大型语言模型中复杂提示的性能。

Apr, 2024

小语言模型的多模态助手全面重构

在本文中，我们研究了 Multimodal Small Language Models（MSLMs）的设计方面，并提出了一种高效的多模态助手 Mipha，旨在在视觉表示、语言模型和优化策略等各个方面产生协同效应。我们展示了在不增加训练数据量的情况下，我们的 Mipha-3B 在多个基准测试中表现优于最先进的大型 MLLMs，尤其是 LLaVA-1.5-13B。通过详细讨论，我们提供了开发强大的 MSLMs 以与 MLLMs 能力匹敌的见解和指南。

Mar, 2024