Nov, 2022

基于扩散的场景图像生成及带掩膜对比预训练

PDF
TL;DR通过学习场景图嵌入来直接优化其与图像的对齐以生成语义可操作的图像，该方法使用了遮蔽自编码丢失和对比丢失两种方法训练嵌入，并建立了潜在扩散模型来实现场景图像的生成。在 Visual Genome 和 COCO-Stuff 数据集上，该方法表现优异，超过了当前最好的方法。
scene graphsimage generationlatent diffusion modelembedding optimizationsemantic manipulation
发现论文，激发创造
  • 通过扩散模型联合生成场景图和图像

    本文介绍了一项新的生成任务：联合场景图像生成。通过引入 DiffuseSG 模型，本文探索了生成逼真的场景图，使得图像生成具备高效和可解释性的控制能力，并展示了该模型在场景图生成以及相关应用中的优越性。

    Jan, 2024

  • 潜在扩散中的场景图条件

    利用 ControlNet 和 Gated Self-Attention，我们提出了多种方法来解决稀缺的图像和场景图数据，通过场景图生成高质量图像，超越了之前的方法。

    Oct, 2023

  • 场景图像合成：将 CLIP 引导与图结构条件整合于扩散模型中

    利用预训练的文本到图像扩散模型和 CLIP 引导，我们的方法通过消除中间布局的预测，将图形知识转化为图像，从而生成与给定场景图一致的图像。实验证明，我们的方法在 COCO-stuff 和 Visual Genome 数据集的标准基准上优于现有方法。

    Jan, 2024

  • 使用场景图进行 3D 场景扩散引导

    使用场景图进行 3D 场景扩散引导的新方法，通过在去噪网络中使用关系图卷积块来利用场景图提供的相对空间信息，显著提高了场景描述与生成场景之间的对齐。

    Aug, 2023

  • SceneGenie: 基于场景图引导的扩散模型图像合成

    本文提出了一种针对扩散模型的新型引导方法，通过边界框和分割映射信息进行推理时间的采样过程，有效提高了文本到图像生成的准确性和分辨率，从而在场景图像生成方面取得了更好的表现和效果，并在公共基准测试中超越了基于场景图像和文本的扩散模型。

    Apr, 2023

  • 从场景图生成图像

    提出了一种利用场景图生成图像的模型，其中包括图形卷积来处理输入图形、预测对象的边界框和分割掩模来计算场景布局，并使用级联细化网络将布局转换为图像，训练对抗鉴别器来确保生成的图像具有逼真度。

    Apr, 2018

  • SG-Adapter：使用场景图引导增强文本到图像生成

    通过引入场景图适配器（SG-Adapter）来纠正原始文本嵌入中的不准确性，使生成的图像与复杂情境中的多个对象和关系的人类预期保持一致。

    May, 2024

  • 自动编码场景图像生成图像描述

    本文提出了场景图自编码器（SGAE），将语言归纳偏差纳入编码器 - 解码器图像字幕框架，以获得更加人性化的字幕。作者使用场景图将图像和句子的复杂结构布局表示，并使用共享字典将感性偏差在视觉语言领域之间传递。实验结果表明，在 MS-COCO 图像字幕基准测试中，基于 SGAE 的单一模型在 Karpathy 分割上取得了新的最高 CIDEr-D 值 127.8，在官方服务器上与其他集成模型相比也获得了 125.5 的竞争 CIDEr-D 值（c40）

    Dec, 2018

  • 使用场景图实现交互式图像生成

    本文提出了一种基于场景图的递增式图像生成模型，该模型通过使用递归神经网络、图卷积网络以及生成对抗网络来生成逼真的多对象图像，实验结果表明其在生成逐步增长场景图的情况下比其他方法更优。

    May, 2019

  • 序列推荐的图形掩蔽自编码器

    提出了一种简单而有效的图蒙版自编码器，通过自监督学习来自适应动态提取全局项转换信息，在顺序推荐中进行信息增强。

    May, 2023