Dec, 2022

无尽索引：基于生成式文本 - 图像模型的信息检索

PDF
TL;DR该研究将生成模型的提示工程重新构想为交互式基于文本的检索，并应用于游戏设计中的图像生成案例研究，并探讨主动学习在产生图像检索中的潜力。
generative modelsprompt engineeringinteractive retrievalinfinite indexactive learning
发现论文，激发创造
  • 面向生成推荐的个性化提示模型检索

    利用生成模型进行推荐系统和个性化问题的初步研究，提出了 Prompt-Model 检索和生成项排序的两阶段框架，并通过 GEMRec-18K 数据集展示了生成模型推荐的潜力和现有评估指标的局限性。

    Aug, 2023

  • 文本到图像生成系统的提示日志分析

    最近，大型语言模型和生成式人工智能的出现，释放了文本转图像生成系统惊人的能力，以合理的方式将高质量的图像综合到给定的参考文本中。我们进行了第一次大规模的记录，这些记录由多个文本到图像生成系统收集。我们的研究发现表示用户输入的文本与生成模型的训练数据之间存在很大的差距，并建议我们如何提高这些系统的性能。

    Mar, 2023

  • 自适应文本到图像生成的提示扩展

    本论文介绍了一种 Prompt Expansion 框架，它帮助用户生成高质量多样化的图像，通过优化扩展了的文本提示，以便生成更吸引人的图像，并通过人类评估研究证明，使用 Prompt Expansion 生成的图像比基准方法生成的图像更美观多样。

    Dec, 2023

  • 文本到图像模型的最佳提示及其发现方法

    本研究使用基因算法，结合人类反馈，学习组合最有用的提示关键字，以改善使用描述生成艺术图像的美感。

    Sep, 2022

  • 稳定扩散提示的嵌入操纵

    我们提出并分析了一种直接改变提示嵌入而非提示文本的方法，将生成的文本到图像模型视为一个连续函数，并在图像空间和提示嵌入空间之间传递梯度，通过解决不同的用户交互问题，应用于优化图像空间的度量、在创造性任务中帮助用户导航图像空间以及包含用户在特定种子中看到但难以在提示中描述的信息等三种场景。实验证明了所描述方法的可行性。

    Aug, 2023

  • 批量指导梯度用于提示演化：增强文本到图像综合的系统性提示优化

    通过多代理框架和迭代过程，基于高质量的初始查询和动态指令优化的图文生成模型，提供了改进用户输入提示设计的机制。

    Jun, 2024

  • Promptify: 基于大型语言模型的交互式提示探索文本到图像生成

    Promptify 是一个交互式系统，支持文本到图像生成模型的提示探索和细化，它利用大型语言模型提供的建议引擎帮助用户快速探索和构建不同的提示，其反馈循环可以迭代地细化提示并增强所需的特征，从而有效地促进文本到图像工作流程并在用户研究中优于现有的基准工具。

    Apr, 2023

  • 带有检索增强扩散模型的文本引导艺术图片生成

    通过检索增强的扩散模型，我们提出了一种替代性方法，改进了生成图像合成技术，优于基于文本提示的视觉样式规定。

    Jul, 2022

  • BeautifulPrompt: 文本到图像合成的自动提示工程化

    我们提出了 BeautifulPrompt，这是一个深度生成模型，可以从非常简单的原始描述中生成高质量的提示，从而使基于扩散模型生成更美丽的图像。我们使用视觉 AI 反馈的强化学习技术来进一步优化模型，以提高生成的提示和图像的质量，并将 BeautifulPrompt 集成到云原生 AI 平台，提供更好的云端文本到图像生成服务。

    Nov, 2023

  • 寻找咒语：通过提示工程实现精确的文本到图像扩散合成

    通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

    Jan, 2024