本文提出一种新颖的基于素描的面部图像编辑系统,它利用了用户的少量素描笔画,有几何和颜色约束,支持粘贴模式和实时交互,并建立在基于新颖的素描领域和卷积神经网络之上,从而将图像完成和图像翻译两个任务结合在一起,十分成功。
Apr, 2018
本文提出了一种基于手绘草图输入的图像编辑框架 Deep Plastic Surgery,并介绍了可以使模型适应不同草图的润色策略、调整草图精度的控制参数、以及用于多级润色的基于样式的模块。实验结果表明,与现有方法相比,该方法能够提高图像编辑的视觉质量和用户可控性。
Jan, 2020
本文提出了一种名为 MaskSketch 的图像生成方法,它可以使生成结果在采样过程中通过使用辅助素描作为额外的调节信号进行空间调节。MaskSketch 利用预训练的掩膜生成变压器,无需模型训练或配对监督,并且可以使用不同级别的输入素描。我们的结果表明,MaskSketch 实现了高图像逼真度和对引导结构的正确性。在标准基准数据集上评估 MaskSketch,它优于素描到图像翻译的最先进方法以及非配对的图像到图像翻译方法。
Feb, 2023
这篇论文介绍了一种新的图像编辑方法,称为模仿编辑,通过使用图像参考来帮助用户更方便地发挥创造力,提出了一种生成训练框架 MimicBrush,能够自主学习图像间的语义对应关系,实验证明了该方法在各种测试案例中的有效性和优越性,并构建了一个用于进一步研究的基准。
Jun, 2024
本文提出了一种基于草图向量的条件扩散模型(SketchFFusion),用于实现基于用户提供的草图信息进行局部细节微调的图像编辑,并展示了其优于现有方法的生成性能。
Apr, 2023
该论文提出了一个基于 GAN 框架的新方法,用于从简笔画和风格参考图像中合成带有颜色和纹理的详细艺术风格图像;该方法采用了双重遮罩机制、特征映射转换技术以及反实例标准化过程等模块,以增强风格一致性和内容约束,并取得了显著的合成性能提升。
Feb, 2020
提出了一种基于多输入用户素描图的图像合成模型,可以使用户编辑或完整地生成所需的具有结构和内容的图像,通过实验证明了该模型能够在图像合成和编辑方面提供独特的用例。
Mar, 2023
我们开发了 MAG-Edit,这是一种无需训练、推断阶段优化的方法,能够在复杂场景中进行局部图像编辑。MAG-Edit 通过最大化编辑标记的两个基于掩模的交叉注意力约束来优化扩散模型中的噪声潜在特征,逐渐增强与所需提示的局部对齐。大量的定量和定性实验证明了我们的方法在复杂场景中实现了文本对齐和结构保护的有效性。
Dec, 2023
本文首次研究了无监督的手绘草图到照片的合成,提出了一种两阶段翻译任务的方法,添加自监督去噪目标和注意力模块以处理抽象和风格差异,生成的图片忠实于草图且逼真的,并可实现基于草图的图像检索和捕捉人类视觉感知。
Sep, 2019
提出了一种基于卷积网络的图像编辑系统,它可以通过自由形式的掩模,草图和颜色作为输入来生成图像,并利用自由形式的用户输入与颜色和形状结合,生成高质量的合成图像。
Feb, 2019