CVPRFeb, 2020

Sketchformer：基于 Transformer 的手绘结构表示

PDF
TL;DRSketchformer 是一种基于 transformer 的表示方法，用于以矢量形式编码手绘草图，有效地解决了多个任务：草图分类、基于草图的图像检索（SBIR）以及草图的重建和插值，可显著提高复杂草图和长笔画序列的重建和插值表现。
sketchformertransformer-based representationfree-hand sketchessketch classificationsketch based image retrieval
发现论文，激发创造
  • Sketch-BERT：从 Transformers 中通过自监督学习学习草图 Gestalt 的双向编码表示

    该研究提出了一种基于 Transformer 的 sketch 领域学习模型 Sketch-BERT，包括新设计的 sketch 嵌入网络和自监督学习的 sketch gestalt，其在 pre-training 和 downstream tasks 中提高了 sketch 识别、检索、以及 gestalt 任务的表现。

    May, 2020

  • 素描绘画的神经表示

    该研究介绍了 Sketch-RNN，它是一种基于循环神经网络（RNN）的模型，能够构建常见对象的基于笔画的绘图，并描述了生成矢量格式的连贯笔画绘图的鲁棒性训练方法。

    Apr, 2017

  • BézierSketch：可扩展矢量素描的生成模型

    本研究提出了 BezierSketch 作为全矢量、高分辨率的生成模型，采用新颖的逆向图形学方法将每个笔画嵌入到其最佳 Bezier 曲线中。通过使用这个模型，我们成功训练了一个具有更大容量生成长时间草图的递归草图生成器，并且取得了较好的定性和定量结果。

    Jul, 2020

  • DoodleFormer：基于 Transformer 的创意素描绘画

    本研究提出了基于 DoodleFormer 两阶段框架的创意素描图像生成方法，该方法采用了图形感知编码器和概率化编码器等技术，可成功有效地产生出具有多样性与真实性的创意素描图像，相关应用包括文本生成和素描完成等。

    Dec, 2021

  • SketchINR: 揭示素描作为隐式神经表示的首次观察

    通过将可变长度的矢量草图压缩为固定维度的潜在空间并将其作为时间和笔画的函数进行隐式编码，我们提出了 SketchINR，可以改进矢量草图的表示。尽管其简单性，SketchINR 在多个任务上优于现有的表示方法。

    Mar, 2024

  • ShapeFormer：基于 Transformer 和稀疏表示的形状补全

    ShapeFormer 是一个基于 transformer 的网络，它可以在给定不完整和可能带有噪声的点云的情况下生成物体完成的分布，通过采样分布，可以生成类似于输入的可能完成物体，我们引入了一种紧凑的 3D 表示方法 —— 向量量化深度隐式函数，它利用空间稀疏性将 3D 形状的近似表示成短序列的离散变量，实验表明，ShapeFormer 在处理不完整的输入情况下的物体形状补全问题上性能优于先前的方法。同时，我们还展示了我们的方法可以有效处理各种不同形状类型，不完整的输入模式和真实世界的扫描数据。

    Jan, 2022

  • Sketch2Mesh: 从草图重建和编辑三维形状

    本文提出一种基于编码器 / 解码器架构利用用户界面提供的相机参数对手绘或合成草图进行转换，将草图转化成三维网格并进行图形重塑的方法，并表明该方法易于部署，对样式变化具有鲁棒性和高效性，且具备单笔画进行形状精细化的能力。和目前最先进的方法相比，我们表现更好。

    Apr, 2021

  • 自由笔画识别的多图变换器

    本文提出了一种新的手绘草图表示方式，将其作为多个稀疏连接的图形，利用设计的多图变压器（MGT）进行学习，从多个图形中同时捕获全局和局部几何笔画结构以及时间信息；实验证明，该方法可用于在 Google QuickDraw 上进行草图识别，相对 CNN 性能上限的精度达到了 72.80％，且显著优于所有基于 RNN 的模型。

    Dec, 2019

  • 草图胜千言：带文本和草图的图像检索

    本文介绍了一个基于文本及草图的图像检索模型，该模型称为 “TASK-former”，并采用了类似于 CLIP 的融合编码器的方法，众多实验表明，使用草图可以明显提高图像检索的召回率。

    Aug, 2022

  • SketchEmbedNet: 借助模仿图画学习新概念

    通过训练模型产生图像素描，本文探究图像表示的特性，并表明其在 few-shot 学习中具有信息嵌入的能力、结构和复合性。

    Aug, 2020