通过连接大型语言模型和进化算法，本论文提出了一种用于离散提示优化的新框架 ——EvoPrompt，极大地提升了语言理解和生成任务中大型语言模型的表现，并展示了语言模型与传统算法结合的协同效应。

Sep, 2023

工程设计优化需要高效结合三维形状表示、优化算法和设计性能评估方法，我们提出了一种在车辆设计场景中利用视觉语言模型来惩罚生成模型合成的不切实际汽车设计的快速演化设计优化 (PEDO) 框架。

Jun, 2024

使用自然语言模型作为演化神经架构搜索算法的自适应变异和交叉操作，构建 EvoPrompting 方法，可有效设计准确高效的神经网络架构，用于图神经网络搜索等领域。

Feb, 2023

自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的 LLM-based 提示优化器的策略。实验结果表明 GPO 具有有效性和高效性，并分别相对基准方法在 Big-Bench Hard 和 MMLU 上带来了多达 56.8% 和 55.3% 的额外改进。

Feb, 2024

通过建立统一的上下文提示优化框架，本研究旨在实现上下文提示和示例的联合优化，并提出了一个高效的自动提示优化框架 PhaseEvo，它结合了 LLMs 的生成能力和进化算法的全局搜索能力，通过创新的基于 LLMs 的变异操作提高搜索效率并加速收敛。实验证明，PhaseEvo 在保持良好效率的同时大幅度优于最先进的基线方法。

Feb, 2024

该论文介绍了一个基于梯度的文本到图像扩散模型中的提示优化框架，通过在语言空间上将提示工程化为离散优化问题，并通过解决文本梯度困难和庞大的域空间挑战来提供主要技术贡献，该方法在多个来源的提示上经验验证表明它可以显著提高或破坏文本到图像扩散模型生成图像的可信度。

Jun, 2024

这篇论文介绍了一种名为 POAC 的新方法，旨在增强从抽象概念中解释和生成图像的文本到图像扩散模型的性能。它提出了一个 Prompt Language Model (PLM) 的框架，通过优化的提示来对生成的图像进行对齐，通过大量实验证明，POAC 显著提高了生成图像的准确性和美学质量，尤其是在描述抽象概念和优化提示方面。

Apr, 2024

使用 Gumbel Softmax 层的梯度上升法可将可视化神经元的技术扩展到 NLP 任务中，产生优于传统语料搜索的 n-gram 表示。该表示突出了 Imaginet 架构的语言和视觉模型之间的句法意识差异。

Sep, 2018

当前关于高效构建大型视觉语言模型的解决方案采用两步骤范式：将预训练视觉编码器的输出投射到预训练语言模型的输入空间作为视觉提示，然后通过端到端参数高效调优（PEFT）将模型转移到下游视觉语言任务。然而，这一范式仍然存在低效性，因为它显著增加了语言模型的输入长度。本文提出了一种新颖的方法，称为内存空间视觉提示（MemVP），与将视觉提示集成到输入不同，我们将视觉提示视为有助于语言模型处理与视觉信息相关任务的附加知识。通过在语言模型的前馈网络（FFN）中加入视觉提示与权重的连接，MemVP 方法大大减少了微调视觉语言模型的训练时间和推理延迟，并且在各种视觉语言任务和语言模型上的实验证明其性能超越了先前的 PEFT 方法。

May, 2024

本文提出了一种自动优化提示技术（APO）来改进 Large Language Models（LLMs）的图灵能力，APO 采用数值梯度下降的方法来自动更改提示语并带来了很大的效率提升和预测性能的提升。

May, 2023