使用开放词汇部分分割技术实现更密集的结果
我们提出了一个开放词汇的部分分割 (OV-PARTS) 基准测试,涵盖了对象级开放词汇语义分割、部分分割和少样本适应能力等三个任务,并分析和使用现有方法的两个流行范例为 OV-PARTS 提供基础模型。
Oct, 2023
本研究探讨了物体分割的任务,通过使用语义分割系统和限制玻尔兹曼机的有益信息,结合 Dense CRF 标签,采用判别式方法提高了语义部分分割的性能,并在 PASCAL 数据集上展示了优越的性能。
May, 2015
我们提出了一种新方法,通过学习 LiDAR 特征和固定的 CLIP 特征之间的融合来处理 3D 开放式词汇全景分割问题,并提出了两个新的损失函数:物体级蒸馏损失和体素级蒸馏损失。在 nuScenes 和 SemanticKITTI 数据集上的实验证明,我们的方法显著优于强基准模型。
Jan, 2024
计算机视觉中的目标检测和分割作为最基本的任务,在深度学习时代取得了巨大的进展。然而,由于昂贵的手动标注,现有数据集中的标注类别往往规模较小且预定义,即最先进的检测器和分割器无法推广到开放词汇之外。因此,近年来越来越多的关注集中在开放词汇检测(OVD)和分割(OVS)上。在本调研中,我们提供了对过去和最新 OVD 和 OVS 发展的全面审查。为此,我们根据任务类型和方法学开发了一个分类法。我们发现,对于不同的方法学,包括:视觉 - 语义空间映射、新颖的视觉特征合成、区域感知训练、伪标签、基于知识蒸馏和基于迁移学习的方法,弱监督信号的许可和使用可以很好地区分。所提出的分类法在不同任务之间是通用的,包括目标检测、语义 / 实例 / 全景分割、三维场景和视频理解。在每个类别中,详细讨论了其主要原则、关键挑战、发展路线、优点和缺点。此外,我们还对每个方法的关键组成部分进行了基准测试。最后,我们提供了一些有前途的方向,以激发未来的研究。
Jul, 2023
我们在这篇论文中通过引入动态词汇生成的评估方案来探索现有开放词汇物体检测方法对物体的细粒度属性及其部分了解的程度,并通过对几种最先进的开放词汇物体检测器的评估,发现大多数现有方法难以准确捕捉和区分物体的细节,并总结了当前方法的局限性和有望克服这些缺点的研究方向。
Nov, 2023
通过重复用大规模预训练模型进行检测和分割,本研究提出了一种在 2D 视频中追踪和分割任何类别对象的模型,并在多个评估数据集上取得了强大的性能表现。
Oct, 2023
该研究提出了一种弱监督的部件检测网络(PartNet),能够检测出细粒度分类所使用的具有辨别力的局部部分,在 CUB-200-2011 和 Oxford Flower 102 数据集上实现了最新的最高性能。
Jun, 2018
本研究利用预训练的 CLIP 和 DINO 模型的多模式知识和物体推理能力来解决三维开放式词汇分割的挑战。通过优化神经辐射场 (NeRF) 并引入相应的损失函数,本研究在无需进行微调的情况下,以开放式视觉和文本知识为先验知识,从 2D 特征中提取出 3D 分割特征。通过实验验证,本研究所提出的方法在无需分割注释的情况下,甚至优于完全监督的分割模型训练,表明三维开放式词汇分割可以有效地从 2D 图像和文本图像对中学到。
May, 2023
利用广义部分和物体级上下文来缓解精细部分通用化不足,并整合竞争性部分关系和注意力控制技术,以改善图像中歧义边界和代表性不足的部分,PartCLIPSeg 在各种数据集上表现出色,提供了精细的分割和对部分关系的高级理解。
Jun, 2024