我们研究了机器对抽象手绘场景草图的理解这一未被充分探索但基本的视觉问题。我们介绍了一种草图编码器，其产生了一个语义感知的特征空间，并通过对语义草图分割任务的性能进行评估。为了训练我们的模型，我们仅依赖于具有简要标题的位图草图的可用性，并且不需要任何像素级的注释。为了实现对大量草图和类别的泛化，我们建立在预先训练的 CLIP 模型上的视觉变换编码器的基础上。我们冻结文本编码器，并通过引入一组关键的修改来执行视觉提示微调视觉编码器分支。我们提供了一个两级分层网络设计，实现了高效的语义解耦：第一级确保了整体场景草图编码，第二级专注于个别类别。然后，在层次结构的第二级中，我们引入了文本和视觉分支之间的交叉注意。我们的方法超越了无标注 CLIP 像素分割结果的 37 个点，达到 FS-COCO 草图数据集上 85.5％的准确率。最后，我们进行了用户研究，以确定我们的方法在调和机器和人类对场景草图的理解方面还需要进一步改进。

Dec, 2023

本研究提出了一种半监督语义分割方法，通过维护不同场景下相同特征的一致性，设计了方向反转损失函数并使用了两种样本筛选策略，该方法在图像级注释下有效地提高了半监督语义分割的性能。

Jun, 2021

本文提出了一个基于层级注意力双向 LSTM 网络的主题分割器，通过添加相干性相关的辅助任务和受限制自注意力来更好地建模上下文，从而超过了 SOTA 方法，并在领域转移设置中证明了其鲁棒性和在多语言场景中的有效性。

Oct, 2020

通过使用超像素与现代 Transformer 框架相结合，本研究提出一种能在语义分割领域获得最先进性能的方法，通过学习将像素空间分解为低维超像素空间，并运用多头自注意力机制来丰富超像素特征以获得全局上下文信息，最终实现了更高的计算效率和模型性能。

Sep, 2023

本文提出了一种针对手绘图像的分割算法，该算法通过使用个性化的提取部件注释，以及简单的 sketch 进行训练，实现了对手绘图像的分割。该算法通过使用简单的 sketch 训练的多阶段变形网络进行随意手绘的分割，相比基于 few-shot 和 state-of-the-art 方法提高了 10% 准确率

Dec, 2021

本文提出了一种基于 scale- 和 shape-variant 的语义分割方法，使用配对卷积生成 shape mask 并控制 receptive field，从而在像素级别上聚合语义相关区域的上下文信息，同时通过标签去噪模型减少了由于低层次特征干扰导致的错误预测，实验结果在 6 个公共数据集上均取得了新的最优性能。

Sep, 2019

我们提出了一个用于无监督语义分割的轻量级聚类框架，基于自监督视觉变换器的注意特征，通过将这些特征聚类成少量的聚类中心，我们能够将前景和背景的图像补丁分开成不同的组。我们的框架在无监督语义分割方面展示了很大的潜力，并在 PASCAL VOC 和 MS COCO 数据集上取得了最新的成果。

Nov, 2023

SegNeXt 是一种简单的卷积神经网络架构，通过重新审视先前成功的分割模型所拥有的特性，设计了一种基于卷积注意力机制的网络模型，该模型使用了廉价的卷积操作，有效提高了语义分割模型的性能，超越了现有技术最佳方法。

Sep, 2022

利用数据依赖的上下文感知分类器通过学习附加环境提示，适应不同的潜在分布，从而解决分割不同场景多样化特征分布的困难，进而显著提高分割模型的性能.

Mar, 2023

本文提出了一种上下文感知特征生成方法，命名为 CaGNet，通过引入上下文模块来捕获像素级别的上下文信息，并从语义词嵌入中生成更丰富和上下文感知的特征，从而实现了零样本语义分割任务中的最先进结果。

Aug, 2020