本文探讨了深度架构在更新模型上的遗忘问题和在语义分割中的特殊性，提出了一种基于蒸馏的框架解决语义分割中的背景类语义分布不一致的问题，并引入了一种新的分类器参数初始化策略，最终在Pascal-VOC 2012和ADE20K数据集上显著优于现有的增量学习方法。

Feb, 2020

本文提出了一种新的持续学习方案，该方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题，在语义分割上进行了测试并在Pascal VOC2012和ADE20K数据集上取得了显著的准确性，远超过现有技术。

Mar, 2021

本文提出了一种名为PLOP的方法，使用了多尺度池化蒸馏技术，在特征级别上保留了长程和短程空间关系，并设计了一种基于熵的伪标签方法来处理背景变化和避免旧类的灾难性遗忘，并引入了一种新的排练方法，特别适用于分割。在现有的连续语境场景以及新的提出的具有挑战性的基准测试中，我们的方法显着优于现有的最先进方法。

Jun, 2021

该论文提出了一种无监督在线适应方法，名为AuxAdapt，用于提高神经网络模型的时域一致性，通过利用一个辅助分割网络（AuxNet）对原始的分割网络（Main-Net）的决策进行针对性的修改，实现对视频序列的快速、准确、稳定的训练。

Oct, 2021

使用Vision Transformers进行语义分割的研究，提出了SegViTv2，通过全局注意力机制和轻量级Attention-to-Mask模块构建出性能更高的解码器、通过Shrunk++结构降低编码器的计算成本，同时在持续学习的环境下实现近乎零遗忘。实验结果表明，SegViT优于当前流行的语义分割方法。

Jun, 2023

通过引入动态令牌过渡视觉转换器（DoViT）对图像进行语义分割，适应性地降低了不同复杂度图像的推理成本，通过逐渐停止部分易处理的令牌的自注意计算并保持难处理的令牌继续前进直到满足停止标准，利用轻量级辅助头部做出令牌传递决策并将令牌划分为保留/停止部分，通过令牌的分离计算，使用稀疏令牌加速自注意层，并在硬件上保持友好性，构建令牌重建模块以收集和重置分组令牌到序列中的原始位置，这对于预测正确的语义掩码是必要的，我们在两个常见的语义分割任务上进行了大量实验证明我们的方法在各种分割转换中大大减少了40％〜60％的FLOPs，mIoU的降低在0.8％以内，并且Cityscapes上的ViT-L/B的吞吐量和推理速度增加了2倍以上。

Aug, 2023

我们提出了一种CNN到ViT知识蒸馏框架，包括视觉语言特征蒸馏模块(VLFD)和像素级解耦蒸馏模块(PDD)，实验证明我们的方法在三个语义分割基准数据集上的mIoU增量是最先进知识蒸馏方法的200%以上。

Oct, 2023

连续学习在深度学习和人工智能系统中具有突破性意义，本文以连续语义分割为例，全面调查其问题形式、主要挑战、通用数据集、新理论和多样应用，并分类整理了当前 CSS 模型中的数据回放和无数据集两个主要分支方法，并提供了具有不同应用场景和发展趋势的四个 CSS 特性。

Oct, 2023

通过Visual Prompt Tuning方法进行的连续全景分割(ECLIPSE)在ADE20K连续全景分割基准任务中展示出优势，在遗忘和可塑性方面达到了新的最先进水平。

Mar, 2024

该研究解决了类增量语义分割中如何在学习新类别的同时避免忘记旧类别的难题。提出了一种简单且有效的类独立转换（CIT）方法，使现有语义分割模型的输出转换为类独立的形式，建立了一个累积蒸馏框架，从而确保所有类别信息的公平融合。实验结果表明，在不同数据集上，任务遗忘率非常低，ADE20K任务配置中低于5%，PASCAL VOC 2012数据集中在所有配置中低于1%。

Nov, 2024