面向开放世界语义分割的深度度量学习

ICCVAug, 2021

面向开放世界语义分割的深度度量学习

Deep Metric Learning for Open World Semantic Segmentation

Jun Cen, Peng Yun, Junhao Cai, Michael Yu Wang, Ming Liu

TL;DR本文提出了一种开放领域语义分割系统，包括两个模块：一个开放集语义分割模块来检测分布内及分布外的目标对象，和一个少样本学习模块来逐渐将这些边缘领域对象纳入已有知识库。我们采用深度度量学习网络 (DMLNet) 与对比聚类来实现开放集语义分割。相比于其他开放集语义分割方法，在三个具有挑战性的数据集上表现出最先进的性能。此外，本文还提出了两个增量少样本学习方法来逐步提高 DMLNet 的性能。

Abstract

Classical close-set semantic segmentation networks have limited ability to detect out-of-distribution (OOD) objects, which is important for safety-critical applications such as autonomous driving. Incrementally learning these OOD objects with few annotations is an ideal way to enlarge

semantic segmentation out-of-distribution objects incremental learning deep metric learning network few-shot learning

发现论文，激发创造

基于元认知的分割模型异常检测

通过引入一种轻量级模块，利用熵量测、分割预测和空间上下文来表征分割模型的不确定性，从而实时检测像素级的极端数据，同时结合生成的合成极端数据进行最大熵训练，我们的方法可以可靠地检测场景中的极端实例，并在语义分割基准测试中表现卓越。

Oct, 2023

基于 LIDAR 点云的开放世界语义分割

该研究提出了一种基于 LIDAR 点云数据的开放式语义分割任务，使用 REdundAncy cLassifier 框架解决开放式语义分割和增量学习问题，并在 SemanticKITTI 和 nuScenes 数据集上达到了最先进的性能，同步解决了灾难性遗忘问题。

Jul, 2022

开放世界中的半监督目标检测

在这篇论文中，我们提出了一个名为 Open World Semi-supervised Detection（OWSSD）的框架，该框架通过一种轻量级的自编码器网络对进行过 ID 数据训练从而有效地检测 OOD 数据，并从中学习，我们通过大量评估表明我们的方法在与最先进的 OOD 检测算法的竞争中表现出色，并显著改善了开放世界场景下的半监督学习性能。

Jul, 2023

语义分割中的 OOD 检测的熵最大化和元分类

本研究提出了一种改进基于像素 softmax 熵的方法的两步流程，通过引入第二个训练目标，最大化对不同数据集的 softmax 熵，并利用手工创造的 Metric 从 softmax 概率得出透明的后处理步骤来降低误检率，从而提高深度神经网络的 OoD 检测性能。

Dec, 2020

语义分割中的超范围物体检测与检索

本文通过在不同的数据集上使用深度学习的方法，实现了以城市街道场景为基础的图像识别模型对于不同场景下的物体进行准确分类和目标检测，并且通过对于特征向量的提取和降维，成功实现了基于图像碎片的图像检索和分割。

May, 2020

全景非分布式分割

深度学习在全景分割方面取得了显著进展，但是全景分割在存在分布外（OOD）对象的情况下受到严重影响。为了解决这个问题，我们提出了一种用于联合像素级语义内部分布和分布外分类的分割方法。我们基于 Panoptic 分割基准数据集 Cityscapes 和 BDD100K，扩展了具有分布外实例分割注释的数据集，并提出了合适的评估指标和多个强基线模型。重要的是，我们提出了新颖的 PoDS 架构，包括共享的主干网络、用于学习全局和局部 OOD 对象线索的 OOD 上下文模块，以及使用我们的对齐 - 不匹配策略的双对称解码器和任务特定头。结合我们的数据增强策略，这种方法有助于逐步学习分布外对象并保持内部分布性能。我们进行了大量评估实验证明我们提出的 PoDS 网络可以有效地解决主要挑战并显著优于基线模型。我们在此 http 链接上公开提供数据集、代码和训练好的模型。

Oct, 2023

通过学习本地对抗攻击进行语义分割中的异常检测

本文提出了一种名为 ObsNet 的 OOD 检测体系结构，通过基于局部对抗攻击（LAA）的专用训练方案，实现了在速度和精度方面得到表现的最佳方法，解决了当前方法在实际应用中速度和精度快慢两难的问题。

Aug, 2021

区域感知度量学习通过元通道聚合用于开放世界语义分割

本研究提出了一种叫做区域感知度量学习（RAML）的方法，通过区分图像的不同区域和生成区域感知特征从而改进模型在分割异常区域和 OUP 对象上的性能，在增量少样本学习方面达到了 SOTA 表现。

May, 2022

语义分割的判别式非分布检测

本文提出了一种针对视觉分类中的开放世界场景中的数据分割问题的新方法，该方法能够训练出一个专门针对原始训练集以及更大的 “背景” 数据集的 ODD（出现在分布之外的异常值）检测模型，并在测试复杂自然图像的数据集中得到了优异的表现。

Aug, 2018

通过判别类原型学习的开放世界物体检测

基于原型学习的开放世界目标检测方法 OCPL，包括 PEA、ESC、CSC 三个模块，用于学习已知类别的鉴别性嵌入以区分已知和未知类别，相关实验结果验证了该方法的有效性。

Feb, 2023