持续语义分割研究综述：理论、挑战、方法与应用

Oct, 2023

持续语义分割研究综述：理论、挑战、方法与应用

A Survey on Continual Semantic Segmentation: Theory, Challenge, Method and Application

Bo Yuan, Danpei Zhao

TL;DR连续学习在深度学习和人工智能系统中具有突破性意义，本文以连续语义分割为例，全面调查其问题形式、主要挑战、通用数据集、新理论和多样应用，并分类整理了当前 CSS 模型中的数据回放和无数据集两个主要分支方法，并提供了具有不同应用场景和发展趋势的四个 CSS 特性。

Abstract

continual learning, also known as incremental learning or life-long learning, stands at the forefront of deep learning and AI systems. It breaks through the obstacle of one-way training on close sets and enables continuous adaptive learning on open-set conditions. In the recent decade,

发现论文，激发创造

语义分割的增量学习技术

本研究旨在解决深度学习架构在面临新增任务时由于灾难性遗忘导致性能下降的问题，提出了一种知识蒸馏方法来保留以前学习过的类别信息，并同时学习新类别，本文在Pascal VOC2012数据集上进行了实验验证其有效性。

Jul, 2019

语义分割中增量学习的背景建模

本文探讨了深度架构在更新模型上的遗忘问题和在语义分割中的特殊性，提出了一种基于蒸馏的框架解决语义分割中的背景类语义分布不一致的问题，并引入了一种新的分类器参数初始化策略，最终在Pascal-VOC 2012和ADE20K数据集上显著优于现有的增量学习方法。

Feb, 2020

PLOP: 持续语义分割中无遗忘学习

通过提出 Local POD 算法和基于熵的伪标记方法 PLOP，解决了在连续学习的语义分割任务中遗忘问题和背景漂移问题，提高了模型的性能。

Nov, 2020

稀疏解耦潜在表示的斥力吸引驱动下的不断语义分割

本文提出了一种新的持续学习方案，该方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题，在语义分割上进行了测试并在Pascal VOC2012和ADE20K数据集上取得了显著的准确性，远超过现有技术。

Mar, 2021

解决连续语义分割中的灾难性遗忘和背景偏移

本文提出了一种名为PLOP的方法，使用了多尺度池化蒸馏技术，在特征级别上保留了长程和短程空间关系，并设计了一种基于熵的伪标签方法来处理背景变化和避免旧类的灾难性遗忘，并引入了一种新的排练方法，特别适用于分割。在现有的连续语境场景以及新的提出的具有挑战性的基准测试中，我们的方法显着优于现有的最先进方法。

Jun, 2021

自动内存样本选择的持续语义分割

提出一种基于决策实现的、新式的样本选择机制，以维护记忆缓冲区，有效地减轻了CSS中忘却现象的影响，使得算法具备了最先进的性能表现。

Apr, 2023

具有动态查询的图像分割的持续学习

基于持续学习的图像分割方法，通过增量动态查询实现了概念解耦，克服了灾难性遗忘和背景漂移问题，同时在语义分割和实例分割任务上取得了最先进的性能。

Nov, 2023

持续学习是否为现实世界的挑战做好准备？

通过使用模拟真实世界条件的新实验协议，本文验证了关于连续学习的假设，并评估迄今取得的进展。结果表明，考虑到所有方法均表现不佳，明显偏离联合离线训练的上限，这对现实环境中的现有方法的适用性提出了问题。本文旨在通过新的实验协议来倡导采用连续学习方法，以在该领域取得突破。

Feb, 2024

基于趋势驱动的弱监督增量语义分割

Weakly Incremental Learning for Semantic Segmentation (WILSS) addresses the issue of conflicting predictions and catastrophic forgetting by proposing a tendency-driven relationship of mutual exclusivity, allowing for concurrent execution with model parameter updating via a bi-level optimization problem, leading to new benchmarks and paving the way for further research.

Apr, 2024

BACS: 背景感知持续语义分割

该论文提出了一种名为BACS的向后背景位移检测器，用于检测以前观察到的类，并建议一种修改后的交叉熵损失函数，结合BACS检测器，降低与以前观察到的类相关联的背景像素的权重，以解决连续语义分割面临的问题。同时，该方法通过掩蔽特征蒸馏和暗体验重播来应对灾难性遗忘，并使用能够适应新类别的变压器解码器，而不需要额外的分类头。该方法在标准连续语义分割基准测试上验证了BACS相对于现有最先进方法的卓越表现。

Apr, 2024