Aug, 2023

SPEGTI: 高效生成式文本到图像模型的结构化预测

PDF
TL;DR通过使用马尔可夫随机场模型，我们提出了一个轻量级方法来实现图像不同区域之间的兼容性，从而在不降低输出图像质量的情况下提高了图像到文本生成模型的速度。
text-to-image generationphotorealistic imagescomputational costmarkov random fieldmuse model
发现论文，激发创造
  • Lafite2: 少样本文本到图像生成

    本文提出了一种在仅有图像数据集的情况下预训练文本到图像生成模型的新方法，通过检索和优化过程综合生成伪文本特征，可以灵活应用于各种情境和模型，并在实验中表现出显著的效果，GAN 模型在完全监督的情况下得到了 6.78 的 FID，是 GAN 最新的 SoTA 结果。

    Oct, 2022

  • 软化潜向下的渐进文本到图像扩散

    通过创新性的渐进综合和编辑操作，该论文引入了一种系统地将实体合并到目标图像中，并确保它们在每个顺序步骤中遵守空间和关系约束的方法。

    Sep, 2023

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 用于文本到图像扩散模型的零样本空间布局调节

    使用文本生成图像的方法已显著提高了生成图像建模的状态，通过结合自然语言界面和空间控制，在本文中，我们考虑了与图像画布上特定位置对象相关的文本生成图像的问题，并提出了 ZestGuide，这是一种零 - shot 分割指导方法，可插入预先训练的文本到图像扩散模型中，我们的实验结果表明，在精准对齐所需的输入分割的情况下，与使用相应分割进行训练的组件相比，提高了图像质量，而在 COCO 数据集上，我们的结果比 Paint with Words 更好。

    Jun, 2023

  • 文本到图像生成的丰富人类反馈

    通过人类反馈信号提高图像生成质量，结合文本到图像生成模型和基于强化学习的人类反馈，标记不真实或不对齐的图像区域以及文本中被误代表或缺失的词，使用多模态变换器自动预测反馈，进一步改进图像生成方法。

    Dec, 2023

  • 优化文本到图像生成：走向准确、无需训练的字形增强图像生成

    改进了 LenCom-Eval 和 MARIO-Eval 基准测试的 OCR 效果的训练自由框架，提供了生成包含长且少见文本序列图像的新方法。

    Mar, 2024

  • Emage: 非自回归式文本到图像生成

    非自回归模型在生成图像时具有高效生成大量图像标记、低推理延迟等特点，与自回归模型相比，其参数规模为 346M，使用一台 V100 GPU 在 1 秒内生成了一张 256×256 像素的高质量图像。

    Dec, 2023

  • 统一的文本到图像生成和检索

    研究中，我们提出了一个统一框架，以多模态大型语言模型（MLLMs）为背景，探索了文本到图像生成和检索之间的关系，并引入了一种生成检索方法，在无需训练的情况下进行检索。我们还构建了一个基准测试集 TIGeR-Bench 以标准化统一的文本到图像生成和检索方法的评估，并在 TIGeR-Bench 以及两个检索基准测试集 Flickr30K 和 MS-COCO 上进行了大量实验，证明了我们提出方法的优越性和效果。

    Jun, 2024

  • 利用结构边缘引导探索文本到图像扩散模型在多光谱卫星图像修复中的能力

    研究了文本到图像修复模型在卫星图像数据中的实用性，通过引入基于 StableDiffusion 和 ControlNet 的新型修复框架以及一种新的 RGB 到 MSI 转换方法，解决了将结构引导信号注入到生成过程中的两个技术挑战，以及将修复的 RGB 像素转换为更广泛的 MSI 波段。对更广泛的数据集的结果表明，通过 StableDiffusion 生成的修复结果存在不受欢迎的伪影，而自监督内部修复的简单替代方法具有更高的合成质量。

    Nov, 2023

  • 具有语义 - 空间感知的 GAN 图像生成

    该论文介绍了一种基于生成式对抗网络的图像生成方法，引入了一种简单有效的语义 - 空间感知块，学习语义自适应变换，并在弱监督方式下学习语义掩膜，从而在保持视觉保真度的同时，能够对输入文本精准对齐。

    Apr, 2021