SketchyGAN:多样化逼真的草图到图像合成
该研究提出了一种基于笔画先验限制的生成对抗网络 SkrgAN,用于合成医学影像,实验结果表明该方法在各种图像模态下均能达到最先进的效果,并且用于数据增强可以提高医学图像分割方法的表现。
Aug, 2019
本文使用生成模型和对抗网络探索了将草图合成为图像和将图像转换为草图的问题,并提出了一种新的多对抗网络框架,称为 Photo-Sketch Synthesis using Multi-Adversarial Networks (PS2-MAN)。通过采用 CycleGAN 框架,利用配对信息解决了耦合 / 配对翻译问题。实验结果表明,该框架在图像质量评估和图像匹配方面的性能优于现有的最先进解决方案。
Oct, 2017
本文提出一个基于面部构图信息的 Composition-aided Generative Adversarial Network (CA-GAN) 来生成面部素描 / 照片。通过使用成对的输入包括面部照片 / 素描和相应的面部标签来进行合成,最终使用堆叠的 CA-GANs (SCA-GAN) 去修正缺陷并增加有吸引力的细节,实验结果表明,我们的方法能够在广泛的具有挑战性的数据范围内生成视觉舒适、保持特征的面部素描 / 照片,并且取得了最佳的生成效果。
Dec, 2017
通过 GAN Sketching 方法实现 GAN 模型的简化,即利用一个或若干草图改变 GAN 模型的权重,鼓励模型输出与用户草图匹配,同时保留原始模型的多样性和图像质量,实现了潜空间插值和图像编辑。
Aug, 2021
该论文提出了一个基于 GAN 框架的新方法,用于从简笔画和风格参考图像中合成带有颜色和纹理的详细艺术风格图像;该方法采用了双重遮罩机制、特征映射转换技术以及反实例标准化过程等模块,以增强风格一致性和内容约束,并取得了显著的合成性能提升。
Feb, 2020
本文提出了一种通过免费手绘的草图实现控制式图像生成的方法,使用由属性向量桥接的生成对抗网络进行高质量的对象级图像内容生成,在称为 SketchyCOCO 的大规模混合数据集中验证了该方法的运用和效果并证明了其生成逼真复杂的场景级图像的能力。
Mar, 2020
本文提出了一种交互式的基于 GAN 的草图到图像的翻译方法,能够帮助新手用户创建简单物体的图像,通过引入基于门控机制的分类条件方法,可以在不混合特征的情况下从单个生成器网络中生成不同的类别。
Sep, 2019
本文提出了两种基于深度学习的神经网络架构,SkeGAN 和 VASkeGAN,用于生成矢量格式的手绘素描,并且引入了 Ske-score 度量来评估其质量。经过人类 图灵测试和 Ske-score 评估,验证了这两个模型的生成结果质量较好。
Apr, 2019
文章提出了一种通过 decoder 使用 StyleGAN 训练生成更加真实的照片,并且通过 autoregressive sketch mapper 和 fine-grained discriminative loss 处理手绘人类草图,实现草图到照片的转化;实验结果展示了其可行性和有效性,同时通过草图检索出生成的照片实现了在草图界的突破。
Mar, 2023
本文研究基于手绘草图的图像生成,提出了一种新的联合图像补全方法,借助草图作为上下文来完成图像生成,并训练出了一种称为 “contextual GAN” 的生成式对抗网络,能够更好地生成真实感图像
Nov, 2017