PromptCrafter: 通过与 LLM 的混合主动对话来制作文本到图像提示

ICMLJul, 2023

PromptCrafter: 通过与 LLM 的混合主动对话来制作文本到图像提示

PromptCrafter: Crafting Text-to-Image Prompt through Mixed-Initiative Dialogue with LLM

Seungho Baek, Hyerin Im, Jiseung Ryu, Juhyeong Park, Takyeon Lee

TL;DR通过 PromptCrafter 这一新型的混合主动式系统，用户可以逐步构建文本到图像的提示，从而有效地探索模型的能力和澄清意图。

Abstract

text-to-image generation model is able to generate images across a diverse range of subjects and styles based on a single prompt. Recent works have proposed a variety of interaction methods that help users understand the capabilities of models and utilize them. However, how to support

text-to-image generation model promptcrafter mixed-initiative system model's capability crafting text-to-image prompt

发现论文，激发创造

Promptify: 基于大型语言模型的交互式提示探索文本到图像生成

Promptify 是一个交互式系统，支持文本到图像生成模型的提示探索和细化，它利用大型语言模型提供的建议引擎帮助用户快速探索和构建不同的提示，其反馈循环可以迭代地细化提示并增强所需的特征，从而有效地促进文本到图像工作流程并在用户研究中优于现有的基准工具。

Apr, 2023

PromptMagician：文本到图像创作的交互式提示工程

开发有效的提示对于生成高质量图像的强大能力具有挑战性，因此本研究提出了 PromptMagician，一个视觉分析系统，通过推荐模型和多层次可视化来帮助用户探索和优化生成图像的输入提示。研究通过用户研究和专家访谈证明了该系统的有效性和可用性，从而改善生成图文模型的创造力支持。

Jul, 2023

PromptCharm：多模态提示和精炼的文本到图像生成

通过混合倡议的多模态提示工程和细化，PromptCharm 系统支持初学者用户在生成图像和优化载体过程中的生成式 AI 领域的最新进展，并通过可视化模型注意力值进行模型解释和反馈循环以提高生成图像的质量和用户期望的符合度。

Mar, 2024

自适应文本到图像生成的提示扩展

本论文介绍了一种 Prompt Expansion 框架，它帮助用户生成高质量多样化的图像，通过优化扩展了的文本提示，以便生成更吸引人的图像，并通过人类评估研究证明，使用 Prompt Expansion 生成的图像比基准方法生成的图像更美观多样。

Dec, 2023

文本到图像生成系统的提示日志分析

最近，大型语言模型和生成式人工智能的出现，释放了文本转图像生成系统惊人的能力，以合理的方式将高质量的图像综合到给定的参考文本中。我们进行了第一次大规模的记录，这些记录由多个文本到图像生成系统收集。我们的研究发现表示用户输入的文本与生成模型的训练数据之间存在很大的差距，并建议我们如何提高这些系统的性能。

Mar, 2023

文本到图像模型的最佳提示及其发现方法

本研究使用基因算法，结合人类反馈，学习组合最有用的提示关键字，以改善使用描述生成艺术图像的美感。

Sep, 2022

PromptPaint: 通过绘画媒介般的互动引导文本生成图像

通过将 T2I 生成与模拟使用彩色绘画的交互相结合，PromptPaint 使用户能够超越语言来混合表达具有挑战性概念的提示，从而允许他们在图像生成过程的不同画布区域和时间应用不同的提示，并提供了有关未来可操控生成工具的深入洞察。

Aug, 2023

文本到图像合成中生成模型首选提示的用户友好框架

通过构建 Coarse-Fine Granularity Prompts 数据集和 User-Friendly Fine-Grained Text Generation 框架，该研究提出了一种自动化提示优化方法，能够以更高的准确度生成视觉吸引力和多样性更强的图像。

Feb, 2024

TaleCrafter: 多角色交互式故事可视化

本文提出了一个通用的交互式故事可视化系统，该系统涵盖了故事到提示生成，文本到布局生成，可控文本到图像生成和图像到视频动画四个组件，允许用户处理多个新角色和灵活修改布局与结构。

May, 2023

个性化的改写提示增强文本生成图像

我们提出了一种将大型预训练模型视为搜索引擎的新视角，从而使以前用于提高搜索引擎性能的技术得以重新应用。通过个性化查询重写技术的示例，我们在文本到图像生成领域使用了这种视角。尽管该领域取得了显著进展，但仍然很难创建与个体用户的期望和偏好密切对齐的个性化视觉表示。这个过程需要用户用对模型理解且准确捕捉他们的愿景的文字来表达，这对许多用户来说很困难。在本文中，我们通过利用用户与系统的历史互动来提高用户提示的质量来解决这个挑战。我们提出了一种基于具有超过 300k 个提示的 3115 个用户的新大规模文本到图像数据集的用户提示重写方法。我们的重写模型增强了用户提示与其预期视觉输出之间的表达和对齐。实验证明了我们方法的优越性，这在我们的新离线评估方法和在线测试中得到了证明。我们的方法为应用更多搜索引擎技术来构建真正个性化的大型预训练模型打开了令人兴奋的可能性。

Oct, 2023