深度基于草图建模:技巧和窍门
我们提出了一种数据驱动方法,利用卷积神经网络 (CNN) 从一个或多个涂鸦中学习重建 3D 形状,为用户提供最初的 3D 重建并可以通过应用更新器 CNN 来迭代更新和融合多视角信息,从而实现自由的位图创作和多视角草图建模之间的连续转换。
Jul, 2017
本文提出一种新颖的基于素描的面部图像编辑系统,它利用了用户的少量素描笔画,有几何和颜色约束,支持粘贴模式和实时交互,并建立在基于新颖的素描领域和卷积神经网络之上,从而将图像完成和图像翻译两个任务结合在一起,十分成功。
Apr, 2018
本文提出了一种将对象照片转换为草图的新方法,使用无监督学习和多任务学习框架,利用自我监督实现编码器瓶颈处的捷径一致性来改进现有的草图生成模型,并证明这种方法可以有效地解决草图数据稀缺的问题。
May, 2018
本文针对人类无限制手绘素描建模,尝试将图标式手绘转化为更几何实际的物体轮廓,并分离显著的特征细节,以实现更好的对象匹配,最终提出了一种基于无监督图像风格转移模型的深度FG-SBIR模型,通过定量和定性评估,证明了其在风格转移和FG-SBIR方面优于现有方法。
Aug, 2018
该论文提出了一个基于 GAN 框架的新方法,用于从简笔画和风格参考图像中合成带有颜色和纹理的详细艺术风格图像;该方法采用了双重遮罩机制、特征映射转换技术以及反实例标准化过程等模块,以增强风格一致性和内容约束,并取得了显著的合成性能提升。
Feb, 2020
文章提出了一种通过decoder使用StyleGAN训练生成更加真实的照片,并且通过autoregressive sketch mapper和fine-grained discriminative loss处理手绘人类草图,实现草图到照片的转化;实验结果展示了其可行性和有效性,同时通过草图检索出生成的照片实现了在草图界的突破。
Mar, 2023
本研究探讨了预训练的ViT和ResNet特征层在量化个体三维形状的二维草图视图之间的相似性方面的能力,并使用对比学习细化预训练模型,研究所选微调策略如何影响零样本形状检索准确性,提供洞察和指导采用大规模预训练模型作为感知损失的研究。
Jun, 2023
本文介绍了SketchMetaFace系统,它为业余用户提供了一个快速建立逼真立体脸部的草图系统,使用了曲率感知笔画以及一种名为“显式深度引导网格建模”的新学习方法,通过数据驱动的笔画建议工具和分阶段标注接口设计增强了系统的可用性,并通过用户研究和实验分析验证其优越性。
Jul, 2023
通过SEVA数据集,对视觉算法进行评估,探索模拟人类视觉抽象能力的模型在生成任务中的潜力,以促进实现增强人类类似的视觉抽象能力的算法的进展。
Dec, 2023
本研究解决了自动草图合成中缺乏统一基准数据集和评估标准的问题。我们提出了SketchRef基准数据集及新的评估指标,特别是引入了均值物体关键点相似性(mOKS)来评估草图与参考照片的结构一致性。研究结果表明,新的评估方法能有效提升草图合成算法的评估精度,进一步促进与人类理解的一致性。
Aug, 2024