Jan, 2020

深度整形：使用人类绘制的素描进行稳健可控的图像编辑

PDF
TL;DR本文提出了一种基于手绘草图输入的图像编辑框架 Deep Plastic Surgery，并介绍了可以使模型适应不同草图的润色策略、调整草图精度的控制参数、以及用于多级润色的基于样式的模块。实验结果表明，与现有方法相比，该方法能够提高图像编辑的视觉质量和用户可控性。
sketch-based image editingdeep plastic surgerysketch refinement strategyrefinement level controlstyle-based module
发现论文，激发创造
  • FaceShop：基于深度素描的人脸图像编辑

    本文提出一种新颖的基于素描的面部图像编辑系统，它利用了用户的少量素描笔画，有几何和颜色约束，支持粘贴模式和实时交互，并建立在基于新颖的素描领域和卷积神经网络之上，从而将图像完成和图像翻译两个任务结合在一起，十分成功。

    Apr, 2018

  • SketchEdit: 用局部草稿实现无蒙版图像局部处理

    基于草图的图像操作旨在通过用户的输入草图修改图像。本文提出一种新的草图驱动图像操作方法，名为无蒙版本地图像操作，只需要用户提供草图输入，并利用整个原始图像。

    Nov, 2021

  • DeepSketch2Face：一种基于深度学习的 3D 人脸和卡通肖像建模草图系统

    本研究提出了一种基于深度学习的素描系统用于 3D 人脸和漫画建模，它具有省力且自由的手绘界面，并支持基于手势的用户交互。

    Jun, 2017

  • Deep3DSketch+: 从单个手绘草图快速进行三维建模

    AR/VR 发展迅速，对 3D 内容需求巨大。本研究提出一种基于手绘草图的 3D 建模方法，使用单个手绘草图生成高保真内容，无需多个视图或步骤。采用端到端方法，引入轻量级生成网络和结构感知对抗训练，并通过 Stroke Enhancement Module（SEM）捕捉结构信息，提升性能。实验证明该方法在合成和真实数据集上具有最先进的性能。

    Sep, 2023

  • DeepFacePencil：从手绘草图生成人脸图像

    DeepFacePencil 是一种有效的工具，可以基于新颖的双生成器图像翻译网络和新颖的空间注意池设计来自动处理手绘草图的空间变形并支持不同的笔画风格和不同级别的细节，从而生成逼真的面部图像。

    Aug, 2020

  • 基于结构感知扩散模型的素描参考图像合成

    提出了一种基于多输入用户素描图的图像合成模型，可以使用户编辑或完整地生成所需的具有结构和内容的图像，通过实验证明了该模型能够在图像合成和编辑方面提供独特的用例。

    Mar, 2023

  • DeepFaceEditing: 利用分离的几何和外表控制实现人脸的深度生成和编辑

    DeepFaceEditing 是一种针对面部图像的结构解缠框架，旨在支持面部生成和编辑，具有几何和外表的解缠控制能力。该方法采用了局部到全局的方法，将面部组件图像分解为几何和外貌表示，并使用全局融合模块进行一致融合，以提高生成质量，并利用草图辅助提取更好的几何表示，同时也支持通过草图进行直观的几何编辑。该方法相较于最先进的方法表现出更优秀的细节和外观控制能力。

    May, 2021

  • 深度分解反素描技术

    本文针对人类无限制手绘素描建模，尝试将图标式手绘转化为更几何实际的物体轮廓，并分离显著的特征细节，以实现更好的对象匹配，最终提出了一种基于无监督图像风格转移模型的深度 FG-SBIR 模型，通过定量和定性评估，证明了其在风格转移和 FG-SBIR 方面优于现有方法。

    Aug, 2018

  • Scribbler: 用草图和颜色控制深度图像合成

    本文提出了一种基于深度对抗图像合成框架，结合草图轮廓和稀疏颜色笔画生成逼真的汽车、卧室或人脸。我们展示了一个基于草图的图像合成系统，允许用户在草图上涂鸦以指示所需对象的首选颜色。该网络是前向的，可以实时看到用户编辑的效果。与最近关于草图到图像合成的研究进行了比较，表明我们的方法可以生成更逼真、更多样和更可控的输出，并且对于灰度图像的用户引导上色也很有效。

    Dec, 2016

  • 使用扩散模型进行草图控制图像合成

    使用扩散模型进行创意素描到图像的综合，表现为更自由、更精确，不依赖大规模的素描 - 图像数据集，同时也具有图像编辑和插值的应用。

    May, 2023