文本到图像模型的最佳提示及其发现方法
我们提出了 BeautifulPrompt,这是一个深度生成模型,可以从非常简单的原始描述中生成高质量的提示,从而使基于扩散模型生成更美丽的图像。我们使用视觉 AI 反馈的强化学习技术来进一步优化模型,以提高生成的提示和图像的质量,并将 BeautifulPrompt 集成到云原生 AI 平台,提供更好的云端文本到图像生成服务。
Nov, 2023
本论文介绍了一种 Prompt Expansion 框架,它帮助用户生成高质量多样化的图像,通过优化扩展了的文本提示,以便生成更吸引人的图像,并通过人类评估研究证明,使用 Prompt Expansion 生成的图像比基准方法生成的图像更美观多样。
Dec, 2023
最近,大型语言模型和生成式人工智能的出现,释放了文本转图像生成系统惊人的能力,以合理的方式将高质量的图像综合到给定的参考文本中。我们进行了第一次大规模的记录,这些记录由多个文本到图像生成系统收集。我们的研究发现表示用户输入的文本与生成模型的训练数据之间存在很大的差距,并建议我们如何提高这些系统的性能。
Mar, 2023
该论文针对文本生成图片技术进行了 3 个月的民族志研究,提出了 6 种不同类型的文本提示修饰符及其工程应用,为人们研究文本生成图片技术提供了新的分类学概念和启示。同时,该研究还探讨了这一创意实践在人机交互领域以及文本生成图片等人工智能生成艺术领域中的应用前景和广泛意义。
Apr, 2022
该研究提出了一种文本生成图像的自适应提示适配框架,该框架使用预训练语言模型进行有监督的微调,再使用强化学习探索更好的提示,通过奖励函数鼓励策略生成更具美感的图像,实验结果表明,自适应提示适配方法优于手动人工优化提示工程,预训练检查点已经公开发布。
Dec, 2022
通过使用预先训练的语言模型生成与人类专家设计相似的提示语,NeuroPrompts 自适应框架可以改善文本到图像模型生成结果的质量,并提供用户对风格特征的控制。研究通过创建一个与 Stable Diffusion 相关的互动应用程序,展示了该框架的实用性。此外,通过利用大型数据集的人工设计提示,在文本到图像生成过程中,自动产生的改进提示可获得更高质量的图像。
Nov, 2023
论文理论分析了合成数据的训练效果和提示诱导的合成数据分布之间的关系,并相应地提出了一种简单而有效的方法,通过图像字幕和类名来提示生成模型,从而合成更具信息性和多样性的训练数据。实验证明,该方法显着提高了在合成训练数据上训练的模型的表现。
Jul, 2023
本论文提出了使用文本转图片模型(比如 DALL-E 2、Imagen、Mid Journey 和 Stable Diffusion)时遇到的一个问题:如何选择正确的提示词以达到预期的艺术输出效果。作者提出了一种衡量提示词效果的技术,并给出了选择提示词以实现预期效果的指导(见附录)。
Nov, 2022
Promptify 是一个交互式系统,支持文本到图像生成模型的提示探索和细化,它利用大型语言模型提供的建议引擎帮助用户快速探索和构建不同的提示,其反馈循环可以迭代地细化提示并增强所需的特征,从而有效地促进文本到图像工作流程并在用户研究中优于现有的基准工具。
Apr, 2023