PromptMagician:文本到图像创作的交互式提示工程
Promptify 是一个交互式系统,支持文本到图像生成模型的提示探索和细化,它利用大型语言模型提供的建议引擎帮助用户快速探索和构建不同的提示,其反馈循环可以迭代地细化提示并增强所需的特征,从而有效地促进文本到图像工作流程并在用户研究中优于现有的基准工具。
Apr, 2023
通过混合倡议的多模态提示工程和细化,PromptCharm 系统支持初学者用户在生成图像和优化载体过程中的生成式 AI 领域的最新进展,并通过可视化模型注意力值进行模型解释和反馈循环以提高生成图像的质量和用户期望的符合度。
Mar, 2024
本论文介绍了一种 Prompt Expansion 框架,它帮助用户生成高质量多样化的图像,通过优化扩展了的文本提示,以便生成更吸引人的图像,并通过人类评估研究证明,使用 Prompt Expansion 生成的图像比基准方法生成的图像更美观多样。
Dec, 2023
通过 PromptCrafter 这一新型的混合主动式系统,用户可以逐步构建文本到图像的提示,从而有效地探索模型的能力和澄清意图。
Jul, 2023
最近,大型语言模型和生成式人工智能的出现,释放了文本转图像生成系统惊人的能力,以合理的方式将高质量的图像综合到给定的参考文本中。我们进行了第一次大规模的记录,这些记录由多个文本到图像生成系统收集。我们的研究发现表示用户输入的文本与生成模型的训练数据之间存在很大的差距,并建议我们如何提高这些系统的性能。
Mar, 2023
我们提出了 BeautifulPrompt,这是一个深度生成模型,可以从非常简单的原始描述中生成高质量的提示,从而使基于扩散模型生成更美丽的图像。我们使用视觉 AI 反馈的强化学习技术来进一步优化模型,以提高生成的提示和图像的质量,并将 BeautifulPrompt 集成到云原生 AI 平台,提供更好的云端文本到图像生成服务。
Nov, 2023
通过使用预先训练的语言模型生成与人类专家设计相似的提示语,NeuroPrompts 自适应框架可以改善文本到图像模型生成结果的质量,并提供用户对风格特征的控制。研究通过创建一个与 Stable Diffusion 相关的互动应用程序,展示了该框架的实用性。此外,通过利用大型数据集的人工设计提示,在文本到图像生成过程中,自动产生的改进提示可获得更高质量的图像。
Nov, 2023
我们提出了一种将大型预训练模型视为搜索引擎的新视角,从而使以前用于提高搜索引擎性能的技术得以重新应用。通过个性化查询重写技术的示例,我们在文本到图像生成领域使用了这种视角。尽管该领域取得了显著进展,但仍然很难创建与个体用户的期望和偏好密切对齐的个性化视觉表示。这个过程需要用户用对模型理解且准确捕捉他们的愿景的文字来表达,这对许多用户来说很困难。在本文中,我们通过利用用户与系统的历史互动来提高用户提示的质量来解决这个挑战。我们提出了一种基于具有超过 300k 个提示的 3115 个用户的新大规模文本到图像数据集的用户提示重写方法。我们的重写模型增强了用户提示与其预期视觉输出之间的表达和对齐。实验证明了我们方法的优越性,这在我们的新离线评估方法和在线测试中得到了证明。我们的方法为应用更多搜索引擎技术来构建真正个性化的大型预训练模型打开了令人兴奋的可能性。
Oct, 2023