Sketch-pix2seq: 生成多种类别的草图模型
该研究提出了一种基于 Transformer 的 sketch 领域学习模型 Sketch-BERT,包括新设计的 sketch 嵌入网络和自监督学习的 sketch gestalt,其在 pre-training 和 downstream tasks 中提高了 sketch 识别、检索、以及 gestalt 任务的表现。
May, 2020
该研究介绍了 Sketch-RNN,它是一种基于循环神经网络(RNN)的模型,能够构建常见对象的基于笔画的绘图,并描述了生成矢量格式的连贯笔画绘图的鲁棒性训练方法。
Apr, 2017
本文提出了两种基于深度学习的神经网络架构,SkeGAN 和 VASkeGAN,用于生成矢量格式的手绘素描,并且引入了 Ske-score 度量来评估其质量。经过人类 图灵测试和 Ske-score 评估,验证了这两个模型的生成结果质量较好。
Apr, 2019
该研究提出了一种利用注意力机制和神经网络实现端到端学习的新型 freehand sketching 认知方法,相比于现有技术更加鲁棒和有效,能够在大规模的手绘图像识别竞赛中获得更好的性能表现。
Nov, 2018
我们研究了机器对抽象手绘场景草图的理解这一未被充分探索但基本的视觉问题。我们介绍了一种草图编码器,其产生了一个语义感知的特征空间,并通过对语义草图分割任务的性能进行评估。为了训练我们的模型,我们仅依赖于具有简要标题的位图草图的可用性,并且不需要任何像素级的注释。为了实现对大量草图和类别的泛化,我们建立在预先训练的 CLIP 模型上的视觉变换编码器的基础上。我们冻结文本编码器,并通过引入一组关键的修改来执行视觉提示微调视觉编码器分支。我们提供了一个两级分层网络设计,实现了高效的语义解耦:第一级确保了整体场景草图编码,第二级专注于个别类别。然后,在层次结构的第二级中,我们引入了文本和视觉分支之间的交叉注意。我们的方法超越了无标注 CLIP 像素分割结果的 37 个点,达到 FS-COCO 草图数据集上 85.5%的准确率。最后,我们进行了用户研究,以确定我们的方法在调和机器和人类对场景草图的理解方面还需要进一步改进。
Dec, 2023
本研究提出了 BezierSketch 作为全矢量、高分辨率的生成模型,采用新颖的逆向图形学方法将每个笔画嵌入到其最佳 Bezier 曲线中。通过使用这个模型,我们成功训练了一个具有更大容量生成长时间草图的递归草图生成器,并且取得了较好的定性和定量结果。
Jul, 2020
该研究提出了一个基于 Siamese 卷积神经网络的方法,将一个 2D 的手绘草图转换为一个 3D 模型,并相比其他先进方法取得了更好的效果。
Apr, 2015
提出了一种基于概率模型的草图图像检索方法,采用生成模型来生成图像,并使用反向自回归流和反馈机制保证了图像生成的效果,实验结果表明该方法在两个数据集上的表现优于基线方法。
Apr, 2019
文章提出了一种通过 decoder 使用 StyleGAN 训练生成更加真实的照片,并且通过 autoregressive sketch mapper 和 fine-grained discriminative loss 处理手绘人类草图,实现草图到照片的转化;实验结果展示了其可行性和有效性,同时通过草图检索出生成的照片实现了在草图界的突破。
Mar, 2023