May, 2019

PasteGAN: 从场景图生成图像的半参数方法

PDF
TL;DR提出了一种名为 PasteGAN 的半参数方法，结合场景图和图像裁剪来生成具有所需对象和丰富交互的图像，使用 Crop Refining Network 和 Object-Image Fuser 设计算法来增强对象间的交互，并设计了 Crop Selector 来选择最兼容的对象进行生成。在 Visual Genome 和 COCO-Stuff 数据集上通过评估表明，该方法显著优于 SOTA 方法。
发现论文，激发创造
  • 场景图预测的生成组合增强

    通过使用合成的稀有场景图并基于条件生成对抗网络的模型，可以解决在场景图生成中面临的组合泛化问题，提高新颖组合成分的准确性

    Jul, 2020

  • 使用复制粘贴生成对抗网络进行目标发现

    本研究提出了一种新的基于复制 - 粘贴 GAN 框架的无监督目标发现算法，该生成器通过在两张图像间复合物体以骗过判别器来学习发现物体，该系统在四个不同的数据集上都表现优异。

    May, 2019

  • CPGAN：全谱内容解析生成对抗网络用于文本到图像合成

    通过解析输入文本和合成图像的内容，构建一个内存结构并设计条件鉴别器，建立文本与图像在语义级别的一致性，从而提高文本到图像的生成性能。

    Dec, 2019

  • 自监督剪切与粘贴生成对抗网络用于物体分割

    本文提出了一种基于自监督的 Cut-and-Paste GAN 方法，可以在不需要手动注释标记的情况下进行前景对象分割和生成逼真的合成图像，并且采用了 U-Net 判别器，通过伪标签学习语义和结构信息来扩展标准判别器的能力。实验结果表明，该方法显著优于标准基准数据集上的现有方法。

    Jan, 2023

  • 用户生成内容的空间语义协作裁剪

    使用者生成內容（UGC）的裁剪演算法及其在 UGC 裁剪中的重要性。

    Jan, 2024

  • 通过全景布局生成交互式图像合成

    本文提出了 Panoptic Layout Generative Adversarial Networks（PLGAN）来解决交互式场景中实现真实感的假图像生成难题，该方法使用 panoptic 理论根据物体的形状判断物体种类，将 stuff 和 instance 布局分别构建后再融合为 panoptic 布局，实验结果表明 PLGAN 具有明显优势。

    Mar, 2022

  • 野外环境下面部照片 - 素描互译的半监督循环生成对抗网络

    本文介绍一种半监督方法，即带有噪声注入策略的 Semi-Cycle-GAN (SCG)，用于解决面部照片素描翻译中的配对数据集小且缺乏多样性以及来自不匹配照片 - 素描数据集所带来的隐写学现象等问题。实验证明 SCG 在公共基准测试中具有竞争性的性能，并且在野外照片上表现出优越的结果。

    Jul, 2023

  • 通过对抗训练实现基于物体的文本到图像合成

    本文提出了一种基于对物体的关注的生成对抗网络，可用于复杂场景的文本到图像合成，该网络生成器长注重于文本描述中最相关的单词和预生成的语义布局，以合成显著物体，同时提出了一种快速区域卷积神经网络（Fast R-CNN）的新技术，以提供丰富的针对对象的区分信号，判断生成的物体与文本描述和预生成布局是否匹配。该提出的 Obj-GAN 在大规模 COCO 基准测试中表现出色，提高了 27％的 Inception 分数并降低了 11％的 FID 分数。通过分析它们的机制和可视化他们的注意层，提供了传统网格注意和新型对象驱动注意之间的全面比较，展示了本模型如何高质量地生成复杂场景的见解。

    Feb, 2019

  • 全景场景图生成

    介绍了一项新的问题任务，即基于全景分割生成全景场景图（PSG）；创建了一个高质量 PSG 数据集用于基准测试，并介绍了四种传统方法的改进和两种基于 Transformer 的单阶段基线；探讨了未来的挑战和发展方向。

    Jul, 2022

  • 图像语义关系生成

    为解决场景图构建的大量人工成本，提出了一种基于图像语义关系生成的简单有效的图像到文本模型（ISRG），该模型通过将场景图任务分解为两个子任务，即图像分割任务和限制性自回归文本生成任务，极大地降低了场景图的构建成本。在 OpenPSG 数据集上，该模型获得了 31 分，相应地优于强基线 ResNet-50 和 CLIP 16 点和 5 点。

    Oct, 2022