Jan, 2024

场景图像合成：将CLIP 引导与图结构条件整合于扩散模型中

HTML
PDF
TL;DR利用预训练的文本到图像扩散模型和CLIP引导，我们的方法通过消除中间布局的预测，将图形知识转化为图像，从而生成与给定场景图一致的图像。实验证明，我们的方法在COCO-stuff和Visual Genome数据集的标准基准上优于现有方法。
发现论文，激发创造
  • 利用对抗网络生成三元组以构建场景图

    本研究提出使用生成对抗网络（GAN）生成细粒度场景图的方法，该方法首先生成单个关于具体区域场景的子图，并在不需要边界框标签的情况下，生成带属性信息的场景图。实验证明了该模型在数据集上的表现优于之前的工作，并能处理更大的词汇量。

    Feb, 2018

  • 从场景图生成图像

    提出了一种利用场景图生成图像的模型，其中包括图形卷积来处理输入图形、预测对象的边界框和分割掩模来计算场景布局，并使用级联细化网络将布局转换为图像，训练对抗鉴别器来确保生成的图像具有逼真度。

    Apr, 2018

  • 利用场景图上下文改进图像生成

    本研究提出使用场景图上下文来改善场景图的图像生成，通过引入上下文网络将图卷积神经网络生成的特征并入图像生成网络和对抗性损失，从而不仅能够生成逼真的图像，还能更好地保留非空间对象之间的关系，并定义两个评估指标，Relation Score 和 Mean Opinion Relation Score，直接评估场景图的一致性，并经过定量和定性研究证明了该模型在这一具有挑战性的任务上优于现有技术。

    Jan, 2019

  • 场景图预测的生成组合增强

    通过使用合成的稀有场景图并基于条件生成对抗网络的模型，可以解决在场景图生成中面临的组合泛化问题，提高新颖组合成分的准确性

    Jul, 2020

  • 具有上下文对象布局细化的场景图像生成

    提出了一种新的方法，通过逐步生成整个布局描述来改善物体间的依赖关系，从而生成高质量的中间布局和最终图像，提高了布局覆盖率近20个百分点，减少了物体之间的重叠到可忽略的程度。

    Sep, 2020

  • 图形到三维：使用场景图端到端生成和操作三维场景

    这篇研究论文提出了直接从场景图形中生成形状的第一种方法，并利用图卷积网络（Graph Convolutional Networks）对物体类别、边缘类别、3D形状和场景布局进行VAE训练，从而支持场景生成和修改。

    Aug, 2021

  • 基于扩散的场景图像生成及带掩膜对比预训练

    通过学习场景图嵌入来直接优化其与图像的对齐以生成语义可操作的图像，该方法使用了遮蔽自编码丢失和对比丢失两种方法训练嵌入，并建立了潜在扩散模型来实现场景图像的生成。在Visual Genome和COCO-Stuff数据集上，该方法表现优异，超过了当前最好的方法。

    Nov, 2022

  • SceneGenie: 基于场景图引导的扩散模型图像合成

    本文提出了一种针对扩散模型的新型引导方法，通过边界框和分割映射信息进行推理时间的采样过程，有效提高了文本到图像生成的准确性和分辨率，从而在场景图像生成方面取得了更好的表现和效果，并在公共基准测试中超越了基于场景图像和文本的扩散模型。

    Apr, 2023

  • 使用场景图进行3D场景扩散引导

    使用场景图进行3D场景扩散引导的新方法，通过在去噪网络中使用关系图卷积块来利用场景图提供的相对空间信息，显著提高了场景描述与生成场景之间的对齐。

    Aug, 2023

  • 通过扩散模型联合生成场景图和图像

    本文介绍了一项新的生成任务：联合场景图像生成。通过引入DiffuseSG模型，本文探索了生成逼真的场景图，使得图像生成具备高效和可解释性的控制能力，并展示了该模型在场景图生成以及相关应用中的优越性。

    Jan, 2024