Dec, 2023

开放词汇语义场景素描理解

PDF
TL;DR我们研究了机器对抽象手绘场景草图的理解这一未被充分探索但基本的视觉问题。我们介绍了一种草图编码器，其产生了一个语义感知的特征空间，并通过对语义草图分割任务的性能进行评估。为了训练我们的模型，我们仅依赖于具有简要标题的位图草图的可用性，并且不需要任何像素级的注释。为了实现对大量草图和类别的泛化，我们建立在预先训练的 CLIP 模型上的视觉变换编码器的基础上。我们冻结文本编码器，并通过引入一组关键的修改来执行视觉提示微调视觉编码器分支。我们提供了一个两级分层网络设计，实现了高效的语义解耦：第一级确保了整体场景草图编码，第二级专注于个别类别。然后，在层次结构的第二级中，我们引入了文本和视觉分支之间的交叉注意。我们的方法超越了无标注 CLIP 像素分割结果的 37 个点，达到 FS-COCO 草图数据集上 85.5％的准确率。最后，我们进行了用户研究，以确定我们的方法在调和机器和人类对场景草图的理解方面还需要进一步改进。
发现论文，激发创造
  • ContextSeg：通过注意力查询上下文的草图语义分割

    本研究提出了 ContextSeg，一种简单而高效的方法来解决草图语义分割问题，通过使用两个阶段，结合密集距离场、自编码网络、自回归 Transformer 和基于组的标记机制，能够充分利用上下文信息以实现最佳的分割准确性。

    Nov, 2023

  • OpenScene: 利用开放式词汇的 3D 场景理解

    使用 OpenScene 和 zero-shot 方法，借助于 CLIP 特征空间将 3D 场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。

    Nov, 2022

  • 通过语义组件级解析提升草图识别可解释性

    通过构建一个语义组件级别的记忆模块，本文提出的结构化素描识别网络可以增强识别网络的解释能力，并可以处理带有或不带有语义组件标签的素描识别情况。在 SPG 和 SketchIME 数据集上的实验证明了记忆模块的灵活性和识别网络的解释能力。

    Dec, 2023

  • Sketch-pix2seq: 生成多种类别的草图模型

    提出了一种改进型的模型，即 sketch-pix2seq 模型，用于学习和生成多类别素描，其中替换了 RNN 编码器为 CNN，从目标函数中删除了 KL 散度，实验表明其性能优于其他模型

    Sep, 2017

  • 草图胜千言：带文本和草图的图像检索

    本文介绍了一个基于文本及草图的图像检索模型，该模型称为 “TASK-former”，并采用了类似于 CLIP 的融合编码器的方法，众多实验表明，使用草图可以明显提高图像检索的召回率。

    Aug, 2022

  • SketchTriplet: 自监督剧情化的素描 - 文本 - 图像三元组生成

    本文提出了一种自监督方法用于场景素描生成，该方法不依赖于任何现有的场景素描，可将单对象的素描转化为场景素描。通过引入矢量素描字幕和素描语义扩展方法，并设计一个融合多模态感知约束的生成网络，适用于零样本图像到素描的下游任务，实验证明其具有最先进的性能。最后，通过我们提出的素描生成方法，我们贡献了一个以场景素描为中心的大规模数据集，包括高度语义一致的 “文本 - 素描 - 图像” 三元组，该数据集可以显著提升现有模型在基于素描的图像检索和素描控制图像合成任务中的能力。我们将公开提供数据集和代码。

    May, 2024

  • 场景文本识别的视觉注意力模型

    本文提出了一种无词典的场景图像文本识别方法，该方法基于一种基于 LSTM 的软视觉注意模型，该模型从卷积特征中学习。通过导出与图像不同区域对应的中间卷积层的一组特征向量，实现了对空间信息的编码，从而使框架能够学习如何选择性地聚焦于图像的不同部分。除此之外，我们还展示了通过将显式语言模型集成到束搜索算法中来修改改良的束搜索算法可以导致更好的识别结果，以标准的 SVT 和 ICDAR'03 场景文本数据集为基础，证明了我们方法在无约束文本识别中的卓越表现。

    Jun, 2017

  • Sketch-BERT：从 Transformers 中通过自监督学习学习草图 Gestalt 的双向编码表示

    该研究提出了一种基于 Transformer 的 sketch 领域学习模型 Sketch-BERT，包括新设计的 sketch 嵌入网络和自监督学习的 sketch gestalt，其在 pre-training 和 downstream tasks 中提高了 sketch 识别、检索、以及 gestalt 任务的表现。

    May, 2020

  • 使用一手素描定制 StyleGAN

    通过能量学习和借助 CLIP 进行跨域语义监督，我们的工作提出了一种使用单个用户素描控制 StyleGAN 图像的框架，该模型在合成数据集上的定量评估表明，与先前的方法相比，我们的方法在单次测试中性能显著提高，无需额外的训练数据和单个素描输入。

    Oct, 2023

  • 如何在基于草图的图像检索中处理草图抽象化？

    我们提出了一种新颖的抽象感知的基于草图的图像检索框架，能够处理不同级别的草图抽象。通过学习抽象感知特征和粒度级别的抽象理解，我们的方法在标准的草图 - 图像检索任务以及早期检索、法医草图 - 照片匹配和风格不变检索等具有挑战性的场景中表现出色。

    Mar, 2024