Sep, 2020

具有上下文对象布局细化的场景图像生成

PDF
TL;DR提出了一种新的方法，通过逐步生成整个布局描述来改善物体间的依赖关系，从而生成高质量的中间布局和最终图像，提高了布局覆盖率近 20 个百分点，减少了物体之间的重叠到可忽略的程度。
image generationscene graphslayoutinter-object dependencycocco-stuff dataset
发现论文，激发创造
  • 从场景图生成图像

    提出了一种利用场景图生成图像的模型，其中包括图形卷积来处理输入图形、预测对象的边界框和分割掩模来计算场景布局，并使用级联细化网络将布局转换为图像，训练对抗鉴别器来确保生成的图像具有逼真度。

    Apr, 2018

  • 利用场景图上下文改进图像生成

    本研究提出使用场景图上下文来改善场景图的图像生成，通过引入上下文网络将图卷积神经网络生成的特征并入图像生成网络和对抗性损失，从而不仅能够生成逼真的图像，还能更好地保留非空间对象之间的关系，并定义两个评估指标，Relation Score 和 Mean Opinion Relation Score，直接评估场景图的一致性，并经过定量和定性研究证明了该模型在这一具有挑战性的任务上优于现有技术。

    Jan, 2019

  • 从布局生成物体中心的图像

    本文提出了一种基于 Object-Centric GAN 的图像生成方法，使用 Scene-Graph Similarity Module 学习场景中物体之间的关系，并在生成器的条件机制上进行了改进，通过实验证明了该方法在生成多物体场景图像的质量和准确性方面的优势。

    Mar, 2020

  • 增强的物体外观感知布局生成图像

    该研究论文提出了一种新的布局到图像生成模型，通过引入上下文感知特征变换模块和 Gram 矩阵，成功地解决了目前现有模型中存在的局限性，实现了 COCO-Thing-Stuff 和 Visual Genome 数据集上的最佳性能。

    Mar, 2021

  • 基于版面的图像生成

    Layout2Im 是一种基于布局的图像生成方法，将物体表示分解为指定和不确定部分，并使用卷积 LSTM 编码并解码整个布局，以生成准确且多样化的图像，提高了最佳 Inception 分数 24.66％至 28.57％。

    Nov, 2018

  • 使用场景图实现交互式图像生成

    本文提出了一种基于场景图的递增式图像生成模型，该模型通过使用递归神经网络、图卷积网络以及生成对抗网络来生成逼真的多对象图像，实验结果表明其在生成逐步增长场景图的情况下比其他方法更优。

    May, 2019

  • 通过场景图引导的布局形状生成进行构成性 3D 场景合成

    从场景图生成逼真合理的三维场景，利用大型语言模型显式汇总全局图特征和局部关系特征，通过统一的图卷积网络从更新的场景图中提取图特征，并引入基于 IoU 的正则化损失来约束预测的三维布局。在 SG-FRONT 数据集上进行基准测试，我们的方法在场景级准确性方面取得了更好的三维场景合成效果。发表后将发布源代码。

    Mar, 2024

  • 场景布局的端到端优化

    提出一种基于变分生成模型和场景图条件的端到端场景布局合成方法，并使用可微分渲染模块优化生成的布局。实验表明，该模型可以更精确和多样地进行条件场景合成，并允许从各种输入形式生成样本化场景。

    Jul, 2020

  • 用于布局组合和补丁检索的简洁场景图

    提出了两种改进场景结构表示法的方法，通过启发式关系和极端点表示法，显著提高相关分数测量方法的性能，并演示了如何使用场景图检索与源查询语义相似的姿态约束图像块，这是实现逼真图像生成的重要一步。

    Apr, 2019

  • SceneCAD：基于 RGB-D 扫描的物体对齐和布局预测

    本文提出一种新的方法，通过联合优化 CAD 模型对齐以及场景布局的估计，显式建模物体间及物体与布局之间的相互关系，通过引入 Hierarchical layout prediction 方法和 message-passing graph neural network 模型，实现了全局一致的场景 CAD-based 表示，实验结果表明相比现有算法准确率显著提高，对于增强现实或虚拟现实等内容创建等应用具有广泛的适用性。

    Mar, 2020