May, 2024

提高人脸生成质量及配套使用合成字幕

PDF
TL;DR通过引入一种无需训练的流程，从人脸图像生成真实的外貌描述，进而改进了文本到图像扩散模型的能力，并提高了其遵循给定提示的能力。
text-to-image generationdiffusion modelsphotorealistic imagesprompt engineeringhuman faces
发现论文，激发创造
  • 图像标题是文本到图像模型的自然提示

    论文理论分析了合成数据的训练效果和提示诱导的合成数据分布之间的关系，并相应地提出了一种简单而有效的方法，通过图像字幕和类名来提示生成模型，从而合成更具信息性和多样性的训练数据。实验证明，该方法显着提高了在合成训练数据上训练的模型的表现。

    Jul, 2023

  • 使用扩散模型进行无偏面部合成：我们已经达到目标了吗？

    利用定性和定量指标以及用户研究，本论文主要研究了生成模型在面部图像生成中的有效性和不足之处，并提出了一个框架来审核生成的面部图像的特征。通过对最先进的文本到图像扩散模型生成的面部进行应用，我们发现面部图像生成存在的限制包括对文本提示的忠实度、人口统计不平衡和分布偏移。此外，我们还提出了一种分析模型，以了解训练数据选择如何影响生成模型的性能。

    Sep, 2023

  • 寻找咒语：通过提示工程实现精确的文本到图像扩散合成

    通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

    Jan, 2024

  • 一图胜千言：原则性重描述提升图像生成

    通过重新标注语料库并以此为基础训练文本到图像模型，可以显著提高模型的图像质量和语义对齐，并减少训练与推理之间的差异，增加样例效率，使模型更好地理解标题和图像之间的关系。

    Oct, 2023

  • 利用合成标题改进图像文本生成

    通过使用 SDXL，我们提出一种低成本的微调技术来改善不同情况下文本生成的准确性，并通过将随机字符添加到原始数据集中来提高模型在生成良好形式视觉文本方面的性能。

    Jun, 2024

  • Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models

    此篇论文提出了一种名为 Prompt-Free Diffusion 的图像合成框架，该框架基于仅视觉输入，不需要文本提示就能生成新图像，其核心架构是语义上下文编码器 (SeeCoder)，该框架在图像合成方面表现出色，不仅在基于示例的合成方法方面优于先前的方法，在遵循最佳实践的提示下，也能与最先进的 T2I 模型相媲美。

    May, 2023

  • 使用扩散模型增强场景文本检测器的真实文本图像合成

    通过扩充背景与前景文字的整合，Diffusion Model based Text Generator (DiffText) 创造了一种能生成真实文本图像并优化文本探测器性能的新型合成数据集方法。

    Nov, 2023

  • ChatPainter：利用对话改进文本到图像生成

    本文研究使用对话来提高基于文本描述合成逼真图像的模型在 Microsoft COCO 数据集上的生成效果和 Inception Score（评估图像质量的指标）。

    Feb, 2018

  • 超越生成：利用文本至图像模型进行对象检测和分割

    通过使用文本到图像合成框架（如 DALL-E、稳定扩散等），我们提出了一种新的范式，以自动产生具有准确标签的训练数据。该方法将训练数据生成分解为前景物体生成和上下文一致的背景生成部分，并演示了在五个物体检测和分割数据集上使用我们方法生成的合成数据用于训练可以产生与使用真实数据训练的模型性能相媲美甚至更好的目标检测器。

    Sep, 2023

  • BeautifulPrompt: 文本到图像合成的自动提示工程化

    我们提出了 BeautifulPrompt，这是一个深度生成模型，可以从非常简单的原始描述中生成高质量的提示，从而使基于扩散模型生成更美丽的图像。我们使用视觉 AI 反馈的强化学习技术来进一步优化模型，以提高生成的提示和图像的质量，并将 BeautifulPrompt 集成到云原生 AI 平台，提供更好的云端文本到图像生成服务。

    Nov, 2023