通过利用大型语言模型，在文本到图像的生成模型中改善提示 - 图像的一致性，我们的方法能够提高一致性得分、保持图像质量和提高生成图像与真实数据之间的相似度，为构建可靠且强大的文本到图像模型铺平了道路。

Mar, 2024

PRISM 是一种自动识别人类可解释且可迁移的提示的算法，它可以有效地生成所需概念，仅通过对 T2I 模型的黑盒访问。

Mar, 2024

本文介绍了一种利用大型语言模型作为数据增强工具的技术，即利用软提示的混合模型进行参数有效的数据生成，并通过去噪机制提高生成数据的质量，此方法能够在复杂预测任务中实现对标签语义的保留，达到优于强基准的最新结果。

Mar, 2023

通过使用监督性提示训练（Supervisory Prompt Training）方法，我们提出了一种新颖的方法，可以自动地生成高效的提示，从而提高大型语言模型（LLMs）的性能和减少幻觉，为传统的模型微调提供了一种高效且可扩展的替代方案。

Mar, 2024

本文通过引入合成文本图像作为类别相关的视觉提示，探索了视觉 - 语言模型中视觉提示的作用，并提出了一种 LoGoPrompt 方法，该方法在少样本学习、从基础到新领域的泛化以及领域泛化方面表现出一致优于现有方法的实验结果。

Sep, 2023

我们提出了第一个用于黑盒情况下安全 T2I 生成的通用提示优化器，通过构建毒性 - 清洁提示对数据集，设计奖励函数衡量生成图像的毒性和文本对齐度来训练优化器，实验证明我们的方法可以显著减少不当图像的生成概率，并且对文本对齐没有明显影响，同时与其他方法相结合能够取得更好的性能。

Feb, 2024

我们提出了 BeautifulPrompt，这是一个深度生成模型，可以从非常简单的原始描述中生成高质量的提示，从而使基于扩散模型生成更美丽的图像。我们使用视觉 AI 反馈的强化学习技术来进一步优化模型，以提高生成的提示和图像的质量，并将 BeautifulPrompt 集成到云原生 AI 平台，提供更好的云端文本到图像生成服务。

Nov, 2023

最近的文本到图像（T2I）模型取得了巨大的成功，并提出了许多基准来评估其性能和安全性。然而，它们只考虑了显性提示而忽视了隐性提示（暗示目标而没有明确提及）。这些提示可能摆脱安全约束，并对这些模型的应用构成潜在威胁。本文强调了 T2I 模型在隐性提示方面的现状，提出了一个名为 ImplicitBench 的基准，并对隐性提示对流行的 T2I 模型的性能和影响进行了调查。具体而言，我们设计并收集了三个方面的 2,000 多个隐性提示：一般符号、名人隐私和不适宜工作（NSFW）问题，并评估了六个知名 T2I 模型在这些隐性提示下的能力。实验结果表明：（1）T2I 模型能够准确地创建由隐性提示指示的各种目标符号；（2）隐性提示给 T2I 模型带来隐私泄露的潜在风险；（3）大多数评估的 T2I 模型中的 NSFW 约束可以通过隐性提示绕过。我们呼吁 T2I 社区更加关注隐性提示的潜力和风险，并进一步调查隐性提示的能力和影响，倡导一种平衡的方法，既发挥其益处又减轻其风险。

Mar, 2024

通过学习二维提示令牌映射来进行图像分类的细粒度提示，以模型化输入图像的空间关系和提高有效提示能力。

Dec, 2023

本研究提出了利用退化对齐的语言提示来实现准确、精细和高保真度的图像恢复，通过图像恢复提示对图像的退化程度进行自动辨别，同时结合预训练的多模态大型语言模型获取与人类感知紧密相关的高级语义先验，综合比较分析表明，该方法在图像感知质量上达到了新的最先进水平，尤其是在基于无参考度量的真实场景中。

Jun, 2024