prompt optimization | BriefGPT

关键词prompt optimization

搜索结果 - 22

多阶段语言模型程序的指示和演示优化
为了最大化下游度量而没有模块级别的标签或梯度，我们研究了语言模型程序的提示优化，即如何更新这些提示。我们通过优化自由形式的指令和少样本演示来解决这个问题，并引入了几种策略来制定任务相关的指令和在模块之间导航学分分配。使用这些策略，我们开发了
PDF17 days ago
专注关注：面向领域通用的提示优化方法，用于语言模型
我们提供了一个名为 “Concentration” 的面向领域通用的提示优化目标，它通过增加注意力强度并减少注意力分布的波动，从而改善了多源领域通用设置中软提示和硬提示通用性优化方法的准确性，同时保持了满意的领域内性能。
PDF19 days ago
任务特征学习：一种用于提示优化的结构化方法
根据给定的训练样本和基本描述，我们将提示优化问题视为从训练样本集中学习任务的多个方面，并发现了提示优化问题中的结构，提出了 UniPrompt 算法，通过生成模型生成初始候选提示部分，并使用反馈机制将多个小批次的建议编辑聚合成一个概念描述，
PDF19 days ago
PromptWizard: 任务感知的代理驱动提示优化框架
利用大型语言模型，PromptWizard 框架通过迭代合成和优化面向特定任务的提示信息，包括了指令和上下文示例的优化，提高了模型的性能。该框架在效率、数据量和小型语言模型上的适应性以及优于现有提示策略的实证评估中展现出优越性，呈现出良好的
PDFa month ago
通过人类反馈进行提示优化
研究了使用用户偏好反馈的黑盒大语言模型优化问题，提出了自动化的 APOHF 算法，应用于多个任务，证明其可以高效地找到好的提示。
PDFa month ago
大型语言模型的自动提示选择
自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞
PDF3 months ago
宪政专家：培训基于原则的提示的混合方法
通过逐步编辑单独原则的方式，我们的研究引入了 ConstitutionalExperts 方法，该方法可学习构成原则的提示，与其他最新的提示优化技术相比，我们的方法在六个基准数据集上取得了 10.9%（F1）的优势，并且混合专家模型可以改进
PDF4 months ago
本地化零阶指示优化
通过对提示优化进行全面的实证研究，我们得出两个主要结论：相对全局最优解的罕见性，局部最优解普遍存在且表现良好（洞见一）。输入域的选择对于识别表现良好的局部最优解起着重要作用（洞见二）。受到这些洞见的启发，我们提出了一种新的算法 —— 局部零
PDF4 months ago
AAAI文本到图像合成中生成模型首选提示的用户友好框架
通过构建 Coarse-Fine Granularity Prompts 数据集和 User-Friendly Fine-Grained Text Generation 框架，该研究提出了一种自动化提示优化方法，能够以更高的准确度生成视觉吸
PDF4 months ago
PhaseEvo: 面向大型语言模型的统一上下文提示优化
通过建立统一的上下文提示优化框架，本研究旨在实现上下文提示和示例的联合优化，并提出了一个高效的自动提示优化框架 PhaseEvo，它结合了 LLMs 的生成能力和进化算法的全局搜索能力，通过创新的基于 LLMs 的变异操作提高搜索效率并加速
PDF5 months ago
多步任务中的智能提问优化：融合人类反馈和偏好对齐
通过结合人类设计的反馈规则，采用基于遗传算法的大语言模型驱动的离散提示优化框架，实现了对多步任务中自动提示的改进，相比现有的方法，平均有 27.7% 和 28.2% 的改善效果。
PDF5 months ago
离奇自动提示的非常有效性
该研究旨在量化将 “积极思考” 融入到提示信息中所产生的影响，并与系统性的提示优化进行比较。实验结果表明，大多数情况下，包含 “积极思考” 的提示对模型的表现起到积极的影响。然而，当不使用思路链时，Llama2-70B 模型却例外，最优系统
PDF5 months ago
大型语言模型平衡情感的多目标进化优化
我们提出了一种特定于提示优化的进化多目标方法（EMO-Prompts），以情感分析为案例研究，结果表明 EMO-Prompts 可以有效生成能够引导大型语言模型同时表达两种相互冲突情感的提示。
PDF6 months ago
用于基于意图的会话推荐的大型语言模型
利用大型语言模型（LLM）的先进推理能力，我们提出了一种新颖的 ISR 方法，通过生成初始提示来引导 LLMs 预测会话中的下一个项目，然后通过迭代自反和调整提示的创新优化机制来完善这个过程，进一步基于 LLMs 的广泛适应能力，我们的提示
PDF7 months ago
梅子：元启发式的智能学习
自从大规模语言模型出现以来，启发式学习已成为优化和定制这些模型的流行方法之一。本文介绍了元启发式方法作为一种潜在的提示学习方法，并测试了六种典型方法的有效性，展示了它们在黑盒提示学习和经过论证的提示调优中的功效，并表明这些方法可以用于发现以
PDF8 months ago
EMNLP非自然语言处理：语言模型如何处理机器生成的提示？
语言模型提示优化研究表明，通过无明显意义或语法结构的自动生成的令牌序列，包括模型嵌入空间中的向量序列，通常胜过语义和语法良好的手工制作的提示。我们使用机器生成的提示来探究模型对非自然语言表达组成的输入的响应，并在多个语义任务中研究不同尺寸模
PDF8 months ago
离线激励评估与优化
这篇论文介绍了 Prompt-OIRL，一种根源于脱机逆强化学习的方法，它旨在弥合有效提示评估和可承受性之间的差距，验证了该方法在四个 LLM 和三个算术数据集上的有效性，并释放了代码和离线数据集。
PDF10 months ago
大型语言模型作为优化器
在此工作中，我们提出了一种名为 OPRO 的优化方法，利用大型语言模型作为优化器，通过自然语言描述优化任务。我们首先展示了 OPRO 在线性回归和旅行商问题上的应用，然后转向优化提示，目标是找到最大化任务准确性的指令。我们通过多种大型语言模
PDF10 months ago
情绪条件下的文本生成通过自动提示优化
我们提出了首个自动提示优化方法，用于以情绪为条件的文本生成，使用一个迭代的优化过程通过添加、删除或替换标记来改变提示。通过将生成的文本中的情感条件的实现度量作为目标函数，我们将该方法应用于以情绪为条件的文本生成，并将其与手动设计的提示进行比
PDFa year ago
深度语言网络：使用变分推断联合训练堆叠的 LLMs
本文提出了 Deep Language Network (DLN) 架构，通过 prompt 优化和变分推理算法，实现了运用较小、较弱 LLM 实现高性能的语言模型，以及进行 few-shot learning 的相关研究。
PDFa year ago