大规模、预训练的神经网络在各种任务中展示了强大的能力，包括零样本图像分割。然而，由于缺乏复杂场景中的推理能力，深度学习方法无法可靠地解释这种指示性表示。为了解决这个问题，我们提出了 DeiSAM-- 一个将大规模预训练的神经网络与可微分逻辑推理器相结合的方法，用于指示性可提示的分割。通过利用大型语言模型（LLMs）生成一阶逻辑规则并在生成的场景图上进行可微的前向推理，DeiSAM 能够通过将目标与逻辑推断的图像区域匹配来分割对象。作为我们评估的一部分，我们提出了 Deictic Visual Genome（DeiVG）数据集，其中包含了配对的视觉输入和复杂的指示性文本提示。我们的实证结果表明，DeiSAM 在指示性可提示的分割方面相较于纯数据驱动的基线有了显著的改进。

Feb, 2024

通过结合文本到图像扩散技术和开放词汇，我们提出了一种解决计算机视觉中伪装实例分割问题的方法，该方法利用跨领域的文本 - 视觉特征学习来区分复杂背景中伪装对象，实验证明了该方法相较于现有方法的优势。

Dec, 2023

通过对八个公开数据集的实证研究，揭示了参考表达理解 (REC) 框架在特定领域中存在的预测错误问题，并提出了一种简单的策略来减轻这些错误，进而改进了基于 REC 的检测和自动分割，同时报告了在多个专业领域中使用 SAM 技术进行分割的性能显著提高和节省注释时间。

Jun, 2024

LSeg 是一种用于语言驱动语义图像分割的新模型，使用文本编码器计算输入标签的嵌入，和基于 transformer 的图像编码器计算输入图像的嵌入，实现像 “草” 或 “建筑” 这样描述性的输入标签的密集像素嵌入，该模型利用语义类相应的文本嵌入与像素嵌入各自计算来训练图像编码器，实现了在测试阶段对未曾见过的类别进行泛化而不需要重新训练或仅需要单个样本的训练，且具有高度竞争的零 - shot 性能。

Jan, 2022

基于大量数据预训练的模型在各种下游任务中展示出令人印象深刻的零摸索能力，但是在目标检测和实例分割等基本计算机视觉任务中，这些基础模型（如 SAM 和 DINO）难以达到令人满意的性能。本研究揭示了根源在于目标边界，即这些基础模型无法区分个体对象之间的边界。我们首次证明 CLIP，它从未访问过任何实例级注释，可以在其特定中间层的聚类结果中提供极具益处和强大的实例级边界先验。基于这一令人惊讶的观察，我们提出了 Zip，它在一个新颖的 “先分类，然后发现” 管道中将 CLip 和 SAM 结合起来，从而实现了无需注释、适应复杂场景并具有开放词汇的目标检测和实例分割。我们的 Zip 显著提升了在 COCO 数据集上 SAM 的遮罩 AP 值达到了 12.5%，并在各种设置中建立了最先进的性能，包括无需训练、自训练和标签高效微调。此外，无需注释的 Zip 甚至实现了与使用基本注释的最佳开放词汇目标检测器相媲美的性能。代码在此 https URL 上发布。

Apr, 2024

研究通过开发 Surgical-DeSAM 方法，利用 Bounding Box 提示和实时机器人手术，实现了实时仪器分割，并在 MICCAI 手术仪器分割挑战 EndoVis 2017 和 2018 数据集上显著改进仪器分割方法的性能。

Apr, 2024

本研究提出了一种无需调参的基于 CLIP 的语义分割框架，可以普遍适用于各种类型的监督。通过利用 CLIP 的零样本分类能力生成伪标签或进行开放词汇量的分割，我们解决了蒙版与 CLIP 文本嵌入之间的偏差问题，提出了一种判别偏差对齐的 CLIP 方法以获得更好的性能。我们构建了一个全局 - 局部一致性的分类器来对 SAM 蒙版进行分类，揭示了 DBA-CLIP 产生的高质量嵌入的内在结构，并展示了对噪声伪标签的鲁棒性。大量实验证实了我们方法的效率和有效性，并在各种数据集和监督类型上取得了最先进或具有竞争力的性能。

May, 2024

提出一种用于无监督视频目标分割的方法，通过转移图像实例嵌入网络中封装的知识。通过将实例嵌入与物体性和光流特征相结合，无需模型重新训练或在线微调，即可将物体链接起来。该方法在 DAVIS 数据集和 FBMS 数据集上优于最先进的无监督分割方法。

Jan, 2018

通过使用聚类，元学习和嵌入式空间中的视觉单词等技术，我们开发了一种快速，因果算法，可在单个前向传递中分割可变数量的对象，并在四个视频分割数据集上实现了最新的速度 / 精度折衷，在不需要调优，附加输入或后处理的情况下。

Dec, 2018

本文提出了一种基于图像文本交互的语义分割模型 ViL-Seg，通过无需密集标注的方式，利用网络上自然存在的图像和文本数据，学习到能够直接分割任意开放世界类别对象的能力，实验结果在三个基准数据集上优于需要数据标注的零样本分割方法。

Jul, 2022