Sketch-BERT：从 Transformers 中通过自监督学习学习草图 Gestalt 的双向编码表示

CVPRMay, 2020

Sketch-BERT：从 Transformers 中通过自监督学习学习草图 Gestalt 的双向编码表示

Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt

PDF

Hangyu Lin, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue

TL;DR该研究提出了一种基于 Transformer 的 sketch 领域学习模型 Sketch-BERT，包括新设计的 sketch 嵌入网络和自监督学习的 sketch gestalt，其在 pre-training 和 downstream tasks 中提高了 sketch 识别、检索、以及 gestalt 任务的表现。

Abstract

Previous researches of sketches often considered sketches in pixel format and leveraged CNN based models in the sketch understanding. Fundamentally, a sketch is stored as a sequence of data points, a vector forma

sketches sketchrnn sketch-bert pre-training sketch recognition

发现论文，激发创造

Sketchformer：基于 Transformer 的手绘结构表示

Sketchformer 是一种基于 transformer 的表示方法，用于以矢量形式编码手绘草图，有效地解决了多个任务：草图分类、基于草图的图像检索（SBIR）以及草图的重建和插值，可显著提高复杂草图和长笔画序列的重建和插值表现。

Feb, 2020

Sketch-pix2seq: 生成多种类别的草图模型

提出了一种改进型的模型，即 sketch-pix2seq 模型，用于学习和生成多类别素描，其中替换了 RNN 编码器为 CNN，从目标函数中删除了 KL 散度，实验表明其性能优于其他模型

Sep, 2017

SketchEmbedNet: 借助模仿图画学习新概念

通过训练模型产生图像素描，本文探究图像表示的特性，并表明其在 few-shot 学习中具有信息嵌入的能力、结构和复合性。

Aug, 2020

BézierSketch：可扩展矢量素描的生成模型

本研究提出了 BezierSketch 作为全矢量、高分辨率的生成模型，采用新颖的逆向图形学方法将每个笔画嵌入到其最佳 Bezier 曲线中。通过使用这个模型，我们成功训练了一个具有更大容量生成长时间草图的递归草图生成器，并且取得了较好的定性和定量结果。

Jul, 2020

零样本基于素描的图像检索生成模型

提出了一种基于概率模型的草图图像检索方法，采用生成模型来生成图像，并使用反向自回归流和反馈机制保证了图像生成的效果，实验结果表明该方法在两个数据集上的表现优于基线方法。

Apr, 2019

素描绘画的神经表示

该研究介绍了 Sketch-RNN，它是一种基于循环神经网络（RNN）的模型，能够构建常见对象的基于笔画的绘图，并描述了生成矢量格式的连贯笔画绘图的鲁棒性训练方法。

Apr, 2017

教授 GAN 将草图转换为矢量格式

本文提出了两种基于深度学习的神经网络架构，SkeGAN 和 VASkeGAN，用于生成矢量格式的手绘素描，并且引入了 Ske-score 度量来评估其质量。经过人类图灵测试和 Ske-score 评估，验证了这两个模型的生成结果质量较好。

Apr, 2019

开放词汇语义场景素描理解

我们研究了机器对抽象手绘场景草图的理解这一未被充分探索但基本的视觉问题。我们介绍了一种草图编码器，其产生了一个语义感知的特征空间，并通过对语义草图分割任务的性能进行评估。为了训练我们的模型，我们仅依赖于具有简要标题的位图草图的可用性，并且不需要任何像素级的注释。为了实现对大量草图和类别的泛化，我们建立在预先训练的 CLIP 模型上的视觉变换编码器的基础上。我们冻结文本编码器，并通过引入一组关键的修改来执行视觉提示微调视觉编码器分支。我们提供了一个两级分层网络设计，实现了高效的语义解耦：第一级确保了整体场景草图编码，第二级专注于个别类别。然后，在层次结构的第二级中，我们引入了文本和视觉分支之间的交叉注意。我们的方法超越了无标注 CLIP 像素分割结果的 37 个点，达到 FS-COCO 草图数据集上 85.5％的准确率。最后，我们进行了用户研究，以确定我们的方法在调和机器和人类对场景草图的理解方面还需要进一步改进。

Dec, 2023

自由笔画识别的多图变换器

本文提出了一种新的手绘草图表示方式，将其作为多个稀疏连接的图形，利用设计的多图变压器（MGT）进行学习，从多个图形中同时捕获全局和局部几何笔画结构以及时间信息；实验证明，该方法可用于在 Google QuickDraw 上进行草图识别，相对 CNN 性能上限的精度达到了 72.80％，且显著优于所有基于 RNN 的模型。

Dec, 2019

针对素描检索的对抗训练

本研究采用生成对抗网络，从无监督数据中学习出良好的表征，并应用于图像生成、场景分类以及像象形文字这类草图检索。我们提出了一种与草图检索搭配的新型 GAN 结构，并通过对比传统 GAN 结构的表现，证明本研究的草图 GAN 可用于草图的检索，并且相比标准 GAN 结构具有更高的旋转、缩放以及平移稳定性。

Jul, 2016