通过连接大型语言模型和进化算法,本论文提出了一种用于离散提示优化的新框架 ——EvoPrompt,极大地提升了语言理解和生成任务中大型语言模型的表现,并展示了语言模型与传统算法结合的协同效应。
Sep, 2023
通过建立统一的上下文提示优化框架,本研究旨在实现上下文提示和示例的联合优化,并提出了一个高效的自动提示优化框架 PhaseEvo,它结合了 LLMs 的生成能力和进化算法的全局搜索能力,通过创新的基于 LLMs 的变异操作提高搜索效率并加速收敛。实验证明,PhaseEvo 在保持良好效率的同时大幅度优于最先进的基线方法。
Feb, 2024
我们提出了一种特定于提示优化的进化多目标方法(EMO-Prompts),以情感分析为案例研究,结果表明 EMO-Prompts 可以有效生成能够引导大型语言模型同时表达两种相互冲突情感的提示。
Jan, 2024
本文提出了一种新的进化式口头表述搜索算法用于构建最优的口头表述器,在少量数据情况下使用预训练的语言模型以及任务特定提示能够极大地提高准确性,进一步推进了小样本文本分类的研究。
Jun, 2023
工程设计优化需要高效结合三维形状表示、优化算法和设计性能评估方法,我们提出了一种在车辆设计场景中利用视觉语言模型来惩罚生成模型合成的不切实际汽车设计的快速演化设计优化 (PEDO) 框架。
Jun, 2024
本文研究现有的代码生成方法的性能限制,并引入了一种新的方法 Instruction Fusion(IF),该方法通过混合两个不同的提示来增强代码 LLM 的训练提示的演化,实验结果显示该方法显著改善了代码 LLM 在五个代码生成基准测试中的性能。
Dec, 2023
通过使用大型语言模型,本研究提出了一种基于黑盒演化算法的语义提示进化方法,能够迅速改进文本提示的性能。
Oct, 2023
本文提出了一种利用进化算法和多目标实现的新的方式,使用图像分类器引导产生的多样性生成的技术,来改善生成模型无法连接生成输出和期望目标概念 / 偏好的局限性,通过一种通过对生成进化过程规定选择压力和变异性的方式,产生多个更符合用户偏好的图像。
May, 2023
大型语言模型(LLMs)具备黑箱优化任务的潜力,可以通过 least-to-most 排序的提示策略提供演化优化算法,称为 EvoLLM,从而在合成 BBOB 函数和小规模神经进化任务上稳定优于传统算法。并通过对 LLM 的模型规模、提示策略和上下文构建的比较研究表明,通过对先前收集的教师优化轨迹进行指令微调,能够灵活地提高 EvoLLM 的性能。
利用自动化方法生成的 AutoPrompt,我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力,以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。
Oct, 2020