CVPRMay, 2022

基于语义引导的场景图扩展图像超出边界

PDF
TL;DR本文提出一种基于场景图转换器的理解和完成图像语义的方法，使用图上的节点和边缘特征进行建模，并采用节点和边缘级别的特征注意力机制，通过 MS-COCO 和 Visual Genome 数据集的实验证明这一模型的有效性及场景图扩展和完感布局转换的实际应用。
semantics-guided image outpaintingscene graph transformergraph-based inputslayout-to-image conversionms-coco
发现论文，激发创造
  • 语义感知的混合场景图像修复的指导与评估

    本研究提出了一种基于语义引导和评估网络的图像修复算法，该算法在每个缩放级别利用语义分割图指导图像修复过程，并利用迭代更新方法实现结构先验和图像修复的协同更新，实验结果表明该方法在图像纹理清晰度和真实感等方面具有优越性。

    Mar, 2020

  • 场景图修改作为增量结构扩展

    本文提出了一种基于增量结构扩展的场景图修改模型，使用自然语言查询更新属性和关系，并构建了一个包含更加复杂查询和大型场景图的数据集， 并在四个基准测试上证明了模型的有效性，显著超过了之前的最先进模型。

    Sep, 2022

  • 使用场景图进行语义图像处理

    本文主要探讨了基于场景图像进行图像编辑的问题，介绍了一种无需直接监督训练的空间 - 语义场景图网络，并通过实验验证了其能够实现在保留原始语义和风格的情况下生成新的图像构成和实现图像编辑。

    Apr, 2020

  • SPG-Net: 图像修复的分割预测和引导网络

    通过引入语义分割信息，本文提出了一种两步法的图像修复模型，将图像修复过程分为分割预测（SP-Net）和分割导向（SG-Net）两个步骤，实验证明，该方法优于现有方法，提供了多模态图像修复的可能性。

    May, 2018

  • In&Out: 通过 GAN 反演实现多样化的图像出油画

    本研究提出了一种基于生成式对抗网络的图像拓展方法，通过对多个潜在编码的生成进行条件渲染，实现了对图像的多样化拓展，并可对分类输入进行拓展，其拓展区域结构和内容更加丰富，表现出更高的视觉质量和多样性。

    Apr, 2021

  • 用于布局组合和补丁检索的简洁场景图

    提出了两种改进场景结构表示法的方法，通过启发式关系和极端点表示法，显著提高相关分数测量方法的性能，并演示了如何使用场景图检索与源查询语义相似的姿态约束图像块，这是实现逼真图像生成的重要一步。

    Apr, 2019

  • 深度生成模型在语义图像修复中的应用

    本文提出了一种基于生成模型的新型语义图像修复方法，该方法可在缺失的内容相互独立的情况下进行推理，并取得超越其他方法的像素级真实感。

    Jul, 2016

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • 画出框框之外：使用 GAN 进行图像外放

    通过深度学习的方式，利用基于 DCGAN 架构的图像分割技术及本地鉴别器提升图像边界的质量，从而实现图片的画外部分（extrapolation），其结果表明利用深度学习方法进行画外部分的研究既可行又具有前景。

    Aug, 2018

  • 使用外推算法进行超长自然景观图像预测

    该研究设计了具有创新模块的编解码器结构，包括跳过水平连接和循环内容传递，实现了高质量、实时和高效的图像外描绘预测，同时能够根据给定的输入生成风格和语义内容相同的非常长的图像。在收集的新景观数据集上进行的实验结果表明该提出的架构具有很高的效能。

    Dec, 2019