May, 2023

开放环境下语义场景理解的公平持续学习方法

HTML
PDF
TL;DR本文提出了一种基于公平性目标的新型公平连续学习框架，通过基于类分布的方法来解决语义分割中的公平问题，并提出了一种新型的原型对比聚类损失和有条件的结构一致性损失，用于应对连续学习中的灾难性遗忘和背景变化等重要挑战。该方法在三个标准的场景理解基准测试中均取得了最新的表现，并提高了模型的公平性。
发现论文，激发创造
  • 语义分割中增量学习的背景建模

    本文探讨了深度架构在更新模型上的遗忘问题和在语义分割中的特殊性，提出了一种基于蒸馏的框架解决语义分割中的背景类语义分布不一致的问题，并引入了一种新的分类器参数初始化策略，最终在Pascal-VOC 2012和ADE20K数据集上显著优于现有的增量学习方法。

    Feb, 2020

  • PLOP: 持续语义分割中无遗忘学习

    通过提出 Local POD 算法和基于熵的伪标记方法 PLOP，解决了在连续学习的语义分割任务中遗忘问题和背景漂移问题，提高了模型的性能。

    Nov, 2020

  • 稀疏解耦潜在表示的斥力吸引驱动下的不断语义分割

    本文提出了一种新的持续学习方案，该方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题，在语义分割上进行了测试并在Pascal VOC2012和ADE20K数据集上取得了显著的准确性，远超过现有技术。

    Mar, 2021

  • 解决连续语义分割中的灾难性遗忘和背景偏移

    本文提出了一种名为PLOP的方法，使用了多尺度池化蒸馏技术，在特征级别上保留了长程和短程空间关系，并设计了一种基于熵的伪标签方法来处理背景变化和避免旧类的灾难性遗忘，并引入了一种新的排练方法，特别适用于分割。在现有的连续语境场景以及新的提出的具有挑战性的基准测试中，我们的方法显着优于现有的最先进方法。

    Jun, 2021

  • 面向持续语义分割的表示补偿网络

    本文研究了连续语义分割问题，提出使用表示补偿（RC）模块结构再参数化机制，以解决网络需要连续整合新类别但避免灾难性遗忘的问题。通过知识蒸馏策略，增强了模型的可塑性和稳定性。在两个有挑战性的实验场景中，无需任何额外的计算负担和参数，模型的性能超过了最先进的性能。

    Mar, 2022

  • 渐变语义补偿对于增量语义分割的应用

    本研究提出了一种Gradient-Semantic Compensation (GSC)模型，从梯度和语义的角度克服了增量语义分割中的灾难性遗忘和背景转移问题。通过重新加权梯度反向传播来平衡先前训练类别的遗忘速度，同时提出了软锐语义关系蒸馏来减轻语义方面的灾难性遗忘，并使用原型伪重新标签方法提供强大的语义引导以减轻背景转移问题。在Pascal VOC 2012、ADE20K和Cityscapes三个公共数据集上的大量实验证明了提出的GSC模型的有效性。

    Jul, 2023

  • 持续语义分割研究综述：理论、挑战、方法与应用

    连续学习在深度学习和人工智能系统中具有突破性意义，本文以连续语义分割为例，全面调查其问题形式、主要挑战、通用数据集、新理论和多样应用，并分类整理了当前 CSS 模型中的数据回放和无数据集两个主要分支方法，并提供了具有不同应用场景和发展趋势的四个 CSS 特性。

    Oct, 2023

  • 基于对比注意力的公平学习：开放世界下的连续语义场景理解

    通过对比注意力的公平性学习方法，解决持续学习中语义场景理解的灾难性遗忘、公平性、背景转移和未知类的问题，并在ADE20K、Cityscapes和Pascal VOC等标准基准上取得了最先进的性能。

    Nov, 2023

  • 具有动态查询的图像分割的持续学习

    基于持续学习的图像分割方法，通过增量动态查询实现了概念解耦，克服了灾难性遗忘和背景漂移问题，同时在语义分割和实例分割任务上取得了最先进的性能。

    Nov, 2023

  • 持续学习是否为现实世界的挑战做好准备？

    通过使用模拟真实世界条件的新实验协议，本文验证了关于连续学习的假设，并评估迄今取得的进展。结果表明，考虑到所有方法均表现不佳，明显偏离联合离线训练的上限，这对现实环境中的现有方法的适用性提出了问题。本文旨在通过新的实验协议来倡导采用连续学习方法，以在该领域取得突破。

    Feb, 2024