Mar, 2020

SketchyCOCO: 由自由形手绘场景草图生成图像

PDF
TL;DR本文提出了一种通过免费手绘的草图实现控制式图像生成的方法，使用由属性向量桥接的生成对抗网络进行高质量的对象级图像内容生成，在称为 SketchyCOCO 的大规模混合数据集中验证了该方法的运用和效果并证明了其生成逼真复杂的场景级图像的能力。
image generationfreehand sketchesgenerative adversarial networkdatasetscene-level images
发现论文，激发创造
  • FS-COCO: 探索常见物体在环境中的自由手绘素描理解

    本文介绍了一个新的自由手场景草图数据集（FS-COCO），并使用该数据集进行了细粒度图像检索研究。作者还提出了一个层次化草图解码器，并探讨了草图和图片标题的信息互补性，以及结合两种模式的潜在好处。

    Mar, 2022

  • 内容条件下的风格化手绘生成

    在本文中，我们提出了一种新颖的对抗生成网络，可以准确地生成具有各种风格的逼真手绘草图，并通过定性和定量评估展示了我们在视觉质量、内容准确性和风格模仿方面的优势，其中应用于 SketchIME。

    Jan, 2024

  • SketchyGAN：多样化逼真的草图到图像合成

    本研究提出了一种新的生成对抗网络 (GAN) 方法，利用数据增强及信息流构建模块等技术，在摩托车、马和沙发等 50 类别的草图上合成逼真的图像，并在 Inception 分数上取得显著的改进。

    Jan, 2018

  • 从手绘草图生成高质量医学影像

    通过在 StyleGAN 的潜在空间中学习表示素描并生成医学图像，我们提出了一种实用的自由手绘到图像生成模型（Sketch2MedI）。与其他模型相比，我们的模型在生成咽部图像方面表现出卓越的性能，在各种指标上都具有高质量和逼真的效果。

    Feb, 2024

  • 基于用户素描和颜色的人脸编辑生成对抗网络 SC-FEGAN

    提出了一种基于卷积网络的图像编辑系统，它可以通过自由形式的掩模，草图和颜色作为输入来生成图像，并利用自由形式的用户输入与颜色和形状结合，生成高质量的合成图像。

    Feb, 2019

  • DeepFacePencil：从手绘草图生成人脸图像

    DeepFacePencil 是一种有效的工具，可以基于新颖的双生成器图像翻译网络和新颖的空间注意池设计来自动处理手绘草图的空间变形并支持不同的笔画风格和不同级别的细节，从而生成逼真的面部图像。

    Aug, 2020

  • 针对草图到照片合成的对抗式开放域自适应

    本文探讨了开放领域的手绘草图转照片生成，提出了一种同时学习手绘草图 - 照片和照片 - 手绘草图生成的框架，以解决由于缺乏训练监督和草图与照片领域之间的巨大几何扭曲造成的挑战。通过开放领域采样和优化策略，该方法使得生成器能够将合成的草图视为真实草图，从而在各种开放领域草图的颜色、纹理和几何构成等方面取得了令人印象深刻的结果。

    Apr, 2021

  • 使用条件生成对抗网络从线稿生成卡通图像的自动绘画程序

    本文提出了一种新的自动绘画模型，用于解决黑白素描自动上色问题，实验结果表明自动绘画模型的性能优于现有的图像合成方法。

    May, 2017

  • 从场景图生成图像

    提出了一种利用场景图生成图像的模型，其中包括图形卷积来处理输入图形、预测对象的边界框和分割掩模来计算场景布局，并使用级联细化网络将布局转换为图像，训练对抗鉴别器来确保生成的图像具有逼真度。

    Apr, 2018

  • SketchTriplet: 自监督剧情化的素描 - 文本 - 图像三元组生成

    本文提出了一种自监督方法用于场景素描生成，该方法不依赖于任何现有的场景素描，可将单对象的素描转化为场景素描。通过引入矢量素描字幕和素描语义扩展方法，并设计一个融合多模态感知约束的生成网络，适用于零样本图像到素描的下游任务，实验证明其具有最先进的性能。最后，通过我们提出的素描生成方法，我们贡献了一个以场景素描为中心的大规模数据集，包括高度语义一致的 “文本 - 素描 - 图像” 三元组，该数据集可以显著提升现有模型在基于素描的图像检索和素描控制图像合成任务中的能力。我们将公开提供数据集和代码。

    May, 2024