最有影响力提示的生存：通过聚类和修剪实现高效的黑盒提示搜索

EMNLPOct, 2023

最有影响力提示的生存：通过聚类和修剪实现高效的黑盒提示搜索

Survival of the Most Influential Prompts: Efficient Black-Box Prompt Search via Clustering and Pruning

Han Zhou, Xingchen Wan, Ivan Vulić, Anna Korhonen

TL;DR通过敏感性分析调查语言模型的提示作用，揭示只有少数词汇对模型预测产生了很大影响，并基于此设计了 Clustering and Pruning for Efficient Black-box Prompt Search (ClaPS) 搜索方法，该方法在搜索空间中引入聚类和修剪，集中关注具有影响力的提示词汇。通过在修剪后的搜索空间中应用简单的搜索方法，ClaPS 在各种任务和语言模型上达到了最先进的性能，超越了复杂方法的性能，并显著降低了搜索成本。该研究突出了搜索空间设计和优化在提升黑盒提示学习的实用性和效率方面的关键作用。

Abstract

prompt-based learning has been an effective paradigm for large pretrained language models (LLM), enabling few-shot or even zero-shot learning. Black-box prompt search has received growing interest recently for its distinctive properties of →

prompt-based learning black-box prompt search gradient-free optimization search space design clustering and pruning for efficient black-box prompt search

发现论文，激发创造

面向预训练语言模型的黑盒提示学习

本文提出了一种针对预训练语言模型的黑盒离散提示学习方法，实现了在云端和边缘设备之间的高效协作，并在此基础上对各种数据大小、提示长度、训练预算、优化目标、提示可转移性和解释方面进行了深入的案例研究，证明了该算法在 8 个基准测试中取得了显著的改进。

Jan, 2022

基于子空间学习的黑盒提示调整

本文提出使用子空间学习来改进黑盒提示微调的灵活性，并证明该模型在不同任务和大型语言模型中均具有竞争力的性能表现。

May, 2023

预训练语言模型中的提示优化的贝叶斯方法

以贝叶斯优化为基础，研究离散提示的优化方法及其应用于分类任务中的性能表现。

Dec, 2023

梅子：元启发式的智能学习

自从大规模语言模型出现以来，启发式学习已成为优化和定制这些模型的流行方法之一。本文介绍了元启发式方法作为一种潜在的提示学习方法，并测试了六种典型方法的有效性，展示了它们在黑盒提示学习和经过论证的提示调优中的功效，并表明这些方法可以用于发现以前未知的更容易理解的提示，从而开辟了提示优化的众多可能性。

Nov, 2023

PromptBoosting: 带有十次前向传递的黑盒文本分类

本文提出了 PromptBoosting，一种由神经语言模型（LM）构建文本分类器的高效查询过程，其通过无梯度、无隐藏表示获取 LM 分类器的表现。该方法在黑盒分类器训练中越来越重要，并通过梯度自由方法获得一小组提示，并将其与 LM 输出分布的不同元素配对以建立大量弱学习器，然后使用 AdaBoost 算法将这些弱学习器整合。该学习方法仅需要进行少量前向传递和无反向传递的过程。实验表明，PromptBoosting 可在多个黑盒少样本分类任务中实现最先进的性能，并与完全微调方法在少样本和标准学习范式中达到或超过前者的表现，同时比现有黑盒方法训练速度快 10 倍。

Dec, 2022

基于约束生成的离散提示优化用于零样本重排

本研究旨在探索大规模语言模型用于信息检索的零 - shot 重排问题。我们提出了一种新颖的离散提示优化方法 Co-Prompt，并将其应用于零 - shot 重排任务中。实验表明，Co-Prompt 相对于基线有着卓越的重排表现，并且生成更易于人理解的提示。

May, 2023

语言模型作为视觉 - 语言模型的黑盒优化器

通过自然语言提示，我们提出了一种新颖的视觉语言模型微调方法，利用基于对话的大型语言模型作为黑盒优化器，在少样本图像分类任务中通过对话过程中的文本反馈，自动搜索最佳文本提示，从而避免了对模型参数、特征嵌入或输出标签的访问。

Sep, 2023

通过提示回归进行提示探索

基于大规模语言模型的广泛使用，提出了一种用于预测提示组合效果的框架 PEPR，并提供了简单方法用于选择有效的提示。在不同任务上，利用不同规模的开源语言模型对该方法进行了评估。

May, 2024

本地化零阶指示优化

通过对提示优化进行全面的实证研究，我们得出两个主要结论：相对全局最优解的罕见性，局部最优解普遍存在且表现良好（洞见一）。输入域的选择对于识别表现良好的局部最优解起着重要作用（洞见二）。受到这些洞见的启发，我们提出了一种新的算法 —— 局部零阶提示优化（ZOPO），将基于神经切向核的推导高斯过程纳入标准零阶优化中，以高效搜索在提示优化中表现良好的局部最优解。通过广泛的实验证明，ZOPO 在优化性能和查询效率方面优于现有基线模型。

Mar, 2024

释放大语言模型作为启发优化器的潜力：一种与基于梯度的模型优化器的类比分析

自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的 LLM-based 提示优化器的策略。实验结果表明 GPO 具有有效性和高效性，并分别相对基准方法在 Big-Bench Hard 和 MMLU 上带来了多达 56.8% 和 55.3% 的额外改进。

Feb, 2024