Jun, 2024

基于生成式 AI 的提示演化工程设计优化与视觉语言模型

PDF
TL;DR工程设计优化需要高效结合三维形状表示、优化算法和设计性能评估方法，我们提出了一种在车辆设计场景中利用视觉语言模型来惩罚生成模型合成的不切实际汽车设计的快速演化设计优化 (PEDO) 框架。
engineering design optimization3d shape representationoptimization algorithmdesign performance evaluationprompt evolution design optimization
发现论文，激发创造
  • 用于工程设计优化的大型语言和文本到 3D 模型

    本文研究了在工程领域中，利用深度文本到 3D 模型的潜力，将其与计算模拟设计优化中的三维资产相结合，探讨了由于自然语言的不同解释而导致优化框架的挑战，并在航空动力学优化中，成功地利用 Shap-E 和两种不同的表示文本提示的方法，实现自动进化设计优化框架的构建，研究结果表明需要确保生成的设计在应用领域的对象类别内，并需要进一步研究如何提高文本提示变化强度和 3D 设计变化的因果关系。

    Jul, 2023

  • 连接大型语言模型与进化算法产生强大的提示优化器

    通过连接大型语言模型和进化算法，本论文提出了一种用于离散提示优化的新框架 ——EvoPrompt，极大地提升了语言理解和生成任务中大型语言模型的表现，并展示了语言模型与传统算法结合的协同效应。

    Sep, 2023

  • 生成式 AI 的 Prompt 演进：一种分类器引导的方法

    本文提出了一种利用进化算法和多目标实现的新的方式，使用图像分类器引导产生的多样性生成的技术，来改善生成模型无法连接生成输出和期望目标概念 / 偏好的局限性，通过一种通过对生成进化过程规定选择压力和变异性的方式，产生多个更符合用户偏好的图像。

    May, 2023

  • PhaseEvo: 面向大型语言模型的统一上下文提示优化

    通过建立统一的上下文提示优化框架，本研究旨在实现上下文提示和示例的联合优化，并提出了一个高效的自动提示优化框架 PhaseEvo，它结合了 LLMs 的生成能力和进化算法的全局搜索能力，通过创新的基于 LLMs 的变异操作提高搜索效率并加速收敛。实验证明，PhaseEvo 在保持良好效率的同时大幅度优于最先进的基线方法。

    Feb, 2024

  • 大型语言模型平衡情感的多目标进化优化

    我们提出了一种特定于提示优化的进化多目标方法（EMO-Prompts），以情感分析为案例研究，结果表明 EMO-Prompts 可以有效生成能够引导大型语言模型同时表达两种相互冲突情感的提示。

    Jan, 2024

  • EvoPrompting: 面向代码级神经架构搜索的语言模型

    使用自然语言模型作为演化神经架构搜索算法的自适应变异和交叉操作，构建 EvoPrompting 方法，可有效设计准确高效的神经网络架构，用于图神经网络搜索等领域。

    Feb, 2023

  • 基于提示的少样本文本分类的进化语言生成搜索

    本文提出了一种新的进化式口头表述搜索算法用于构建最优的口头表述器，在少量数据情况下使用预训练的语言模型以及任务特定提示能够极大地提高准确性，进一步推进了小样本文本分类的研究。

    Jun, 2023

  • 视觉 - 语言基础模型的提示工程系统性调查

    本文系统概述了在三种类型的视觉 - 语言模型上的提示工程的前沿研究，包括多模式到文本生成模型、图像 - 文本匹配模型和文本 - 图像生成模型，并总结和讨论了模型概要、提示方法、基于提示的应用以及相关的责任和完整性问题。此外，还讨论了在提示对视觉 - 语言模型、语言模型和视觉模型的共同点和差异，并对挑战、未来方向和研究机会进行了总结，以推动未来对此主题的研究。

    Jul, 2023

  • 抽象概念理解的文本到图像扩散模型的优化器

    这篇论文介绍了一种名为 POAC 的新方法，旨在增强从抽象概念中解释和生成图像的文本到图像扩散模型的性能。它提出了一个 Prompt Language Model (PLM) 的框架，通过优化的提示来对生成的图像进行对齐，通过大量实验证明，POAC 显著提高了生成图像的准确性和美学质量，尤其是在描述抽象概念和优化提示方面。

    Apr, 2024

  • 批量指导梯度用于提示演化：增强文本到图像综合的系统性提示优化

    通过多代理框架和迭代过程，基于高质量的初始查询和动态指令优化的图文生成模型，提供了改进用户输入提示设计的机制。

    Jun, 2024