自由笔画识别的多图变换器

Dec, 2019

Multi-Graph Transformer for Free-Hand Sketch Recognition

Peng Xu, Chaitanya K. Joshi, Xavier Bresson

TL;DR本文提出了一种新的手绘草图表示方式，将其作为多个稀疏连接的图形，利用设计的多图变压器（MGT）进行学习，从多个图形中同时捕获全局和局部几何笔画结构以及时间信息；实验证明，该方法可用于在 Google QuickDraw 上进行草图识别，相对 CNN 性能上限的精度达到了 72.80％，且显著优于所有基于 RNN 的模型。

Abstract

Learning meaningful representations of free-hand sketches remains a challenging task given the signal sparsity and the high-level abstraction of sketches. Existing techniques have focused on exploiting either the static nature of sketches with Convolutional Neural Networks (CNNs) or the temporal sequential property with Recurrent Neural Networks (RNNs). In t

sketch recognition graph neural network multi-graph transformer temporal information google quickdraw

发现论文，激发创造

图变换网络

本论文提出了一种名为 GTNs 的图转换器网络，能够在图上进行节点表示的学习，同时生成新的图结构以及识别原始图上未连接点之间有用的连接。实验表明，GTNs 有效地生成新的图结构，通过卷积在新图上产生具有强大表现力的节点表示，并在三个基准节点分类任务中取得了最佳表现。

Nov, 2019

SketchGNN: 基于图神经网络的语义草图分割

SketchGNN 是一种卷积图神经网络，用于自由绘制矢量草图的语义分割和标记。SketchGNN 将输入的基于笔画的草图作为图形处理，并使用静态 - 动态分支网络架构和图卷积来提取三个级别的特征：点级别、笔画级别和草图级别，显著提高了图像语义分割的准确性。

Mar, 2020

循环神经网络用于画作识别：使我的机器人能够玩 Pictionary

本研究提出了一种基于递归神经网络的手绘图形识别架构，通过利用深度草图特征和加权每个时步损失来实现在大量对象类别上的最新结果，尤其适用于在线识别对象。

Aug, 2016

Sketch-GNN：具有亚线性训练复杂性的可伸缩图神经网络

提出了一种基于草图的算法，其训练时间和内存随着图的大小而亚线性增长，通过在少量紧凑的图草图上训练 GNN，避免了与图大小线性相关的复杂性增长，并通过局部敏感哈希（LSH）技术提高草图的质量，实验证明了该算法在大规模图上的可扩展性和竞争性能与完整规模的 GNN 相比。

Jun, 2024

自主深度学习手绘图像表征

本研究解决了手绘图像自监督表征学习的问题，提出了一种针对手绘图像的特定预处理任务和文本卷积网络的双分支架构，通过在百万级手绘图像数据集上进行的两个应用方法来证明该方法明显优于现有的无监督表征学习方法，并显著缩小了与监督表征学习之间的性能差距。

Feb, 2020

大规模图的图转换器

本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了 LargeGT 框架，并取得了 3 倍的加速和 16.8％的性能提升。

Dec, 2023

Sketch-BERT：从 Transformers 中通过自监督学习学习草图 Gestalt 的双向编码表示

该研究提出了一种基于 Transformer 的 sketch 领域学习模型 Sketch-BERT，包括新设计的 sketch 嵌入网络和自监督学习的 sketch gestalt，其在 pre-training 和 downstream tasks 中提高了 sketch 识别、检索、以及 gestalt 任务的表现。

May, 2020

Sketch-R2CNN: 基于注意力机制的矢量草图识别网络

该研究提出了一种利用注意力机制和神经网络实现端到端学习的新型 freehand sketching 认知方法，相比于现有技术更加鲁棒和有效，能够在大规模的手绘图像识别竞赛中获得更好的性能表现。

Nov, 2018

基于形状和纹理特征的序列双重深度学习用于草图识别

本文提出了一种将形状和纹理特征相结合的顺序深度学习策略，利用编码形状描述符和 CNN 的输出作为抽象的纹理特征来识别并获得高灵活性的手绘图，并通过重复神经网络进行特征融合来实现物体不变性识别。实验结果表明，该方法即使在形状和外观发生显着变化的情况下也能优于人类平均水平和现有算法。

Aug, 2017

PatchGT: 在不可训练聚类之上的 Transformer 模型用于学习图形表征

该论文提出了一种新的基于 Transformer 的图神经网络 Patch Graph Transformer，它学习非可训练图形补丁，而不是直接从节点中学习，并使用谱聚类在无需可训练参数的情况下将图形分割为图形补丁，从而获得更高的表现力和可解释性。

Nov, 2022