Dec, 2016

Scribbler: 用草图和颜色控制深度图像合成

PDF
TL;DR本文提出了一种基于深度对抗图像合成框架，结合草图轮廓和稀疏颜色笔画生成逼真的汽车、卧室或人脸。我们展示了一个基于草图的图像合成系统，允许用户在草图上涂鸦以指示所需对象的首选颜色。该网络是前向的，可以实时看到用户编辑的效果。与最近关于草图到图像合成的研究进行了比较，表明我们的方法可以生成更逼真、更多样和更可控的输出，并且对于灰度图像的用户引导上色也很有效。
deep convolutional networksimage synthesissketchinguser controldiverse outputs
发现论文，激发创造
  • 带有条件对抗网络的用户指导下深度动漫线条着色

    该研究提出了一种基于深度有条件敌对生成网络和本地特征网络的漫画线画自动上色方法，通过训练更加真实的图像数据，获得更好的视觉效果。

    Aug, 2018

  • 使用扩散模型进行草图控制图像合成

    使用扩散模型进行创意素描到图像的综合，表现为更自由、更精确，不依赖大规模的素描 - 图像数据集，同时也具有图像编辑和插值的应用。

    May, 2023

  • 使用条件生成对抗网络从线稿生成卡通图像的自动绘画程序

    本文提出了一种新的自动绘画模型，用于解决黑白素描自动上色问题，实验结果表明自动绘画模型的性能优于现有的图像合成方法。

    May, 2017

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022

  • TextureGAN：使用纹理贴片控制深度图像合成

    本文介绍了一种通过草图、颜色和纹理生成深层次图像的方法。通过引入纹理控制来实现用户对输出纹理的控制，我们的生成网络可以学习到如何根据用户的纹理想法生成与之一致的对象，并且在实验中得到了验证。

    Jun, 2017

  • 卷积素描反演

    该论文利用深度神经网络将面部素描图像还原为照片级真实面部图像，采用半模拟数据集和深度学习技术，包括批处理规范化、深层残差学习、感知损失和随机优化。最后，通过艺术和犯罪学示例，展示了该方法的应用潜力。

    Jun, 2016

  • SketchyGAN：多样化逼真的草图到图像合成

    本研究提出了一种新的生成对抗网络 (GAN) 方法，利用数据增强及信息流构建模块等技术，在摩托车、马和沙发等 50 类别的草图上合成逼真的图像，并在 Inception 分数上取得显著的改进。

    Jan, 2018

  • 基于用户素描和颜色的人脸编辑生成对抗网络 SC-FEGAN

    提出了一种基于卷积网络的图像编辑系统，它可以通过自由形式的掩模，草图和颜色作为输入来生成图像，并利用自由形式的用户输入与颜色和形状结合，生成高质量的合成图像。

    Feb, 2019

  • 自监督的草图到图像合成

    通过自监督学习，提出了一个基于示例的草图到图像的生成模型，其中包括了使用无需配对的数据生成草图的方法，以及使用自编码器和对抗网络分别实现内容一致性和风格一致性，并在高分辨率图像生成上取得了最新的表现。

    Dec, 2020

  • Sketch-to-Art: 从草图中合成风格化的艺术图像

    该论文提出了一个基于 GAN 框架的新方法，用于从简笔画和风格参考图像中合成带有颜色和纹理的详细艺术风格图像；该方法采用了双重遮罩机制、特征映射转换技术以及反实例标准化过程等模块，以增强风格一致性和内容约束，并取得了显著的合成性能提升。

    Feb, 2020