Sep, 2023

连接大型语言模型与进化算法产生强大的提示优化器

PDF
TL;DR通过连接大型语言模型和进化算法，本论文提出了一种用于离散提示优化的新框架 ——EvoPrompt，极大地提升了语言理解和生成任务中大型语言模型的表现，并展示了语言模型与传统算法结合的协同效应。
large language modelsdiscrete prompt optimizationevolutionary algorithmslanguage understandingprompt generation
发现论文，激发创造
  • EvoPrompting: 面向代码级神经架构搜索的语言模型

    使用自然语言模型作为演化神经架构搜索算法的自适应变异和交叉操作，构建 EvoPrompting 方法，可有效设计准确高效的神经网络架构，用于图神经网络搜索等领域。

    Feb, 2023

  • 大型语言模型平衡情感的多目标进化优化

    我们提出了一种特定于提示优化的进化多目标方法（EMO-Prompts），以情感分析为案例研究，结果表明 EMO-Prompts 可以有效生成能够引导大型语言模型同时表达两种相互冲突情感的提示。

    Jan, 2024

  • PhaseEvo: 面向大型语言模型的统一上下文提示优化

    通过建立统一的上下文提示优化框架，本研究旨在实现上下文提示和示例的联合优化，并提出了一个高效的自动提示优化框架 PhaseEvo，它结合了 LLMs 的生成能力和进化算法的全局搜索能力，通过创新的基于 LLMs 的变异操作提高搜索效率并加速收敛。实验证明，PhaseEvo 在保持良好效率的同时大幅度优于最先进的基线方法。

    Feb, 2024

  • 大型语言模型作为进化策略

    大型语言模型（LLMs）具备黑箱优化任务的潜力，可以通过 least-to-most 排序的提示策略提供演化优化算法，称为 EvoLLM，从而在合成 BBOB 函数和小规模神经进化任务上稳定优于传统算法。并通过对 LLM 的模型规模、提示策略和上下文构建的比较研究表明，通过对先前收集的教师优化轨迹进行指令微调，能够灵活地提高 EvoLLM 的性能。

    Feb, 2024

  • 大语言模型时代的进化计算：调查与路线图

    基于大型语言模型（LLMs）和进化算法（EAs）的优势和互补性，本文提出了一篇综合综述和展望性的论文，将它们的相互启示分为 LLM 增强进化优化和 EA 增强 LLM 两个方面，并介绍了一些整合方法来论证在各种应用场景中 LLMs 与 EAs 的融合。这篇论文是围绕 LLMs 时代的 EA 研究的首个综合综述，为了解和利用 LLMs 与 EAs 之间的协作潜力奠定了基础，并提供了挑战和未来方向的指导。

    Jan, 2024

  • 大型语言模型的自动提示选择

    自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

    Apr, 2024

  • 释放大语言模型作为启发优化器的潜力：一种与基于梯度的模型优化器的类比分析

    自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的 LLM-based 提示优化器的策略。实验结果表明 GPO 具有有效性和高效性，并分别相对基准方法在 Big-Bench Hard 和 MMLU 上带来了多达 56.8% 和 55.3% 的额外改进。

    Feb, 2024

  • 情绪刺激：通过心理学为大型语言模型提升增强

    大语言模型通过 EmotionPrompt 在情绪智能方面进行性能提升，取得了显著的成果，有助于人类与语言模型的跨学科知识交互。

    Jul, 2023

  • 长提示的自动工程化

    我们研究了自动的长提示工程算法，证明了贪婪算法和遗传算法在搜索效率方面的优越性，并引入了两种利用搜索历史增强搜索算法效果的新技术。我们的研究结果表明，该算法在 Big Bench Hard 的八个任务中实现了平均 9.2% 的准确度提升，突显了自动化提示设计对充分利用 LLMs 的能力的重要性。

    Nov, 2023

  • 使用大型语言模型的算法演进

    利用大型语言模型进行算法进化，能够自动生成优化算法，减少人工专家和领域知识的需求，在解决推销员旅行问题方面表现优异，具有出色的可伸缩性，与先前的利用语言模型作为搜索操作符的尝试大不相同。

    Nov, 2023