素描视频合成
本研究提出了 BezierSketch 作为全矢量、高分辨率的生成模型,采用新颖的逆向图形学方法将每个笔画嵌入到其最佳 Bezier 曲线中。通过使用这个模型,我们成功训练了一个具有更大容量生成长时间草图的递归草图生成器,并且取得了较好的定性和定量结果。
Jul, 2020
我们研究了机器对抽象手绘场景草图的理解这一未被充分探索但基本的视觉问题。我们介绍了一种草图编码器,其产生了一个语义感知的特征空间,并通过对语义草图分割任务的性能进行评估。为了训练我们的模型,我们仅依赖于具有简要标题的位图草图的可用性,并且不需要任何像素级的注释。为了实现对大量草图和类别的泛化,我们建立在预先训练的 CLIP 模型上的视觉变换编码器的基础上。我们冻结文本编码器,并通过引入一组关键的修改来执行视觉提示微调视觉编码器分支。我们提供了一个两级分层网络设计,实现了高效的语义解耦:第一级确保了整体场景草图编码,第二级专注于个别类别。然后,在层次结构的第二级中,我们引入了文本和视觉分支之间的交叉注意。我们的方法超越了无标注 CLIP 像素分割结果的 37 个点,达到 FS-COCO 草图数据集上 85.5%的准确率。最后,我们进行了用户研究,以确定我们的方法在调和机器和人类对场景草图的理解方面还需要进一步改进。
Dec, 2023
本文提出一种基于逆向图形框架的可扩展高分辨率向量素描生成模型 Cloud2Curve,该模型可以使用点云数据进行端到端训练,并具备确定性向量化功能,能够将新颖的栅格或航点素描映射到其相应的高分辨率比赛曲线,我们在 Quick, Draw! 和 K-MNIST 数据集上评估了模型的生成和向量化功能。
Mar, 2021
SketchGNN 是一种卷积图神经网络,用于自由绘制矢量草图的语义分割和标记。SketchGNN 将输入的基于笔画的草图作为图形处理,并使用静态 - 动态分支网络架构和图卷积来提取三个级别的特征:点级别、笔画级别和草图级别,显著提高了图像语义分割的准确性。
Mar, 2020
本文提出一种名为 Sketch-based Video Object Localization (SVOL) 的任务,通过 Sketch-Video Attention Network (SVANet) 的 Cross-modal Transformer 模型,成功实现了零样本能力的视频物体定位。
Apr, 2023
利用不同的几何和语义上的简化来控制抽象程度的一种物体素描方法,能够通过训练学习到草图和图像的概念,生成的草图实现多个抽象程度,同时保持主题的可识别性,基本结构和基本视觉元素。
Feb, 2022
本研究提出了一种针对基于曲线的设计草图的新的参数化风格转移框架,通过使用参数化的形状编辑规则、高效的曲线到像素转换技术以及对 ImageNet-Sketch 上的 VGG19 进行微调,有效解决了神经风格转移方法在处理二进制草图转换方面所面临的传统挑战,并通过将直观的基于曲线的图像与基于规则的编辑相协调,有可能显著提升设计表达能力,并在产品设计领域提升风格转移的实践。
Oct, 2023
该论文提出了一种新颖的图像转铅笔画的方法,可以产生高质量的铅笔素描并提供绘图过程;通过三个分支的引导,可以每次画一笔来制作铅笔素描;该方法在质地、样式和用户评估方面优于现有的铅笔素描算法。
Dec, 2020
通过多层次引导和深度学习方法,我们提出了一种新型的动画插画网络,名为 FC-SIN,用于快速生成流畅的 2D 动画插画。在大规模数据集 STD-12K 上的综合实验证明,我们的方法优于现有的插值方法,并且我们的代码和数据集将公开提供。
Aug, 2023