我们研究了机器对抽象手绘场景草图的理解这一未被充分探索但基本的视觉问题。我们介绍了一种草图编码器，其产生了一个语义感知的特征空间，并通过对语义草图分割任务的性能进行评估。为了训练我们的模型，我们仅依赖于具有简要标题的位图草图的可用性，并且不需要任何像素级的注释。为了实现对大量草图和类别的泛化，我们建立在预先训练的 CLIP 模型上的视觉变换编码器的基础上。我们冻结文本编码器，并通过引入一组关键的修改来执行视觉提示微调视觉编码器分支。我们提供了一个两级分层网络设计，实现了高效的语义解耦：第一级确保了整体场景草图编码，第二级专注于个别类别。然后，在层次结构的第二级中，我们引入了文本和视觉分支之间的交叉注意。我们的方法超越了无标注 CLIP 像素分割结果的 37 个点，达到 FS-COCO 草图数据集上 85.5％的准确率。最后，我们进行了用户研究，以确定我们的方法在调和机器和人类对场景草图的理解方面还需要进一步改进。

Dec, 2023

本文介绍了一种基于语意神经网络的人脸漫画合成和识别方法，旨在同步解决在执法中广泛使用的人脸漫画和识别问题。

May, 2023

本论文提出了 SketchParse，一个深度神经网络架构，用于完全自动地解析手绘对象素描，并应用于物体识别和图像检索。SketchParse 的设计采用了双层卷积网络，其中第一层包含所有对象类别的共享层，第二层包含许多专家子网络。除此之外，还介绍如何利用辅助任务物体姿态预测来提高 SketchParse 的性能。

Sep, 2017

本研究介绍了一种新的素描 - 照片对应基准，PSC6k，其中包含 125 个物体类别上 6250 个素描 - 照片对的 150K 注释，并提出了一种自监督方法，用于学习素描 - 照片对之间的密集对应关系，该方法在精细度和量化上优于其他基线模型，为开发实现更接近人类的不同抽象层次上的视觉图像理解的人工系统提供了有希望的道路。

Jul, 2023

本研究致力于为专业 C4I 系统开发专门设计的手写输入法（SketchIME），通过在该系统中利用素描作为低保真原型，在创建全面情境地图时推荐标准化符号。为此，该论文提出了一个包含 374 种专业素描类型的系统数据集，并通过多级监督的同时识别和分割架构，结合少样本领域自适应和类别增量学习，提高了网络适应新用户和扩展到新任务特定类别的能力。通过在提出的数据集和 SPG 数据集上进行的实验，验证了该架构的优越性能。

Nov, 2023

我们提出了一种新颖的抽象感知的基于草图的图像检索框架，能够处理不同级别的草图抽象。通过学习抽象感知特征和粒度级别的抽象理解，我们的方法在标准的草图 - 图像检索任务以及早期检索、法医草图 - 照片匹配和风格不变检索等具有挑战性的场景中表现出色。

Mar, 2024

本文提出一种基于 sketch 的图像检索方法，通过使用跨模态协同和层次结构融合的策略，能够在不同层次的详细程度上匹配 sketch 和照片，并在公共基准测试中取得远超其他方法的性能表现。

Jul, 2020

本研究提出了 ContextSeg，一种简单而高效的方法来解决草图语义分割问题，通过使用两个阶段，结合密集距离场、自编码网络、自回归 Transformer 和基于组的标记机制，能够充分利用上下文信息以实现最佳的分割准确性。

Nov, 2023

该文章首次将人类草图引入 XAI（可解释人工智能）领域，提出以草图为数据形式的可解释人工智能设计，通过识别笔画的形状、位置和顺序等内在属性，定义了首个用于草图的 XAI 任务：笔画位置倒置。研究结果不仅提供了草图解释的角度，同时还展示了该特殊设计的草图编码器最佳的草图识别精度和最小的参数数量。

Apr, 2023

通过 SEVA 数据集，对视觉算法进行评估，探索模拟人类视觉抽象能力的模型在生成任务中的潜力，以促进实现增强人类类似的视觉抽象能力的算法的进展。

Dec, 2023