Aug, 2023

DiffusePast: 基于扩散的生成回放技术用于类别增量语义分割

PDF
TL;DRDiffusePast 是一个新颖的框架，通过基于扩散的生成回放模块生成具有更可靠蒙版的语义精确图像，以解决 Class Incremental Semantic Segmentation 中对传统分割任务的增量学习并处理先前提到的灾难性遗忘和隐私问题。
class incremental semantic segmentationgenerative replaydiffusepastdual-generator paradigmpseudo-labels
发现论文，激发创造
  • 继承与蒸馏，对比进化：探索无样本记忆的类别增量语义分割

    本文提出了一种新的方法 Inherit with Distillation and Evolve with Contrast (IDEC)，它通过 Dense Knowledge Distillation on all Aspects (DADA) 和 Asymmetric Region-wise Contrastive Learning (ARCL) 模块解决了类增量语义分割中遇到的灾难性遗忘问题和语义漂移问题，并在多个 CISS 任务中展现出卓越的性能。

    Sep, 2023

  • 使用扩散模型进行蒸馏与回放的类增量学习

    本文提出采用预训练稳定扩散模型作为增量学习的额外数据源，并证明其可以进一步提高现有最先进的大规模数据集类增量学习方法的性能。

    Jun, 2023

  • SDDGR: 稳定的基于扩散的深度生成回放用于类别增量目标检测

    本研究提出了一种名为稳定扩散深度生成重放（SDDGR）的新方法，它利用基于扩散的生成模型和预训练的文本到扩散网络生成逼真多样的合成图像，通过迭代优化策略生成高质量包含旧类别的图像，并采用 L2 知识蒸馏技术提高合成图像中先前知识的保存，并在新任务图像中利用伪标记技术对旧对象进行预测，防止其被误分类为背景元素。实验结果表明，SDDGR 在各种类别增量目标检测场景中显著优于现有算法，达到了最新的技术水平。源代码将向公众提供。

    Feb, 2024

  • 数据集扩散：基于扩散的像素级语义分割合成数据集生成

    通过利用文本到图像生成模型 Stable Diffusion (SD) 的文本提示、交叉注意力和自我注意力，我们引入了三种新技术：类别提示附加，类别提示交叉注意力和自我注意力指数化，从而生成与合成图像相对应的分割地图，这些地图可以作为训练语义分割器的伪标签，消除了对像素级注释的繁重需求，我们还在 PASCAL VOC 和 MSCOCO 两个数据集上进行了评估，我们的方法明显优于同行的工作。

    Sep, 2023

  • 高效的多粒度知识重用在类增量分割中的应用

    本文提出了一种高效利用多级特征融合 Class Incremental Semantic Segmentation 的方法，采用特征金字塔和 DEFY 模块等技术，使得在 PASCAL VOC 2012 和 ADE20K 数据集上的平均性能指标都得以显著提升。

    Jun, 2023

  • 面向实际的递增场景在类递增语义分割中的应用

    本文针对常用的连续增量语义分割（Continuous Incremental Semantic Segmentation，CISS）场景中的不切实际之处进行了研究，提出了一个实用的场景，即分割（partitioned），该场景能够解决 CISS 中的偏差问题，并通过引入一种名为 MiB-AugM 的基于记忆机制的基准模型，实现了多任务学习与学习新类的最新结果。

    May, 2024

  • 综合生成回放的任务增量分割：具有并行外观和语义遗忘

    任务增量学习中的综合生成回放框架通过合成图像 - 掩模对来还原外观和语义知识，解决了出现同时外观和语义遗忘的问题。

    Jun, 2024

  • SSUL: 基于示例的类增量学习的未知标签语义分割

    本文提出了一种新的方法 SSUL-M 方法，该方法结合了针对语义分割的技术并首次使用了微小样本存储器来解决类逐步学习中经常出现的语义漂移和多标签预测问题，实验证明其比其他最新技术基线表现更优秀。

    Jun, 2021

  • 类原型条件扩散模型用于生成回放的持续学习

    通过生成模型提高图像质量以减少分类器中的灾难性遗忘，我们提出了基于类原型的条件扩散模型（CPDM），它通过在扩散模型的去噪过程中集成可学习的类原型来保持图像生成质量，并缓解了灾难性遗忘的风险。

    Dec, 2023

  • 渐变语义补偿对于增量语义分割的应用

    本研究提出了一种 Gradient-Semantic Compensation (GSC) 模型，从梯度和语义的角度克服了增量语义分割中的灾难性遗忘和背景转移问题。通过重新加权梯度反向传播来平衡先前训练类别的遗忘速度，同时提出了软锐语义关系蒸馏来减轻语义方面的灾难性遗忘，并使用原型伪重新标签方法提供强大的语义引导以减轻背景转移问题。在 Pascal VOC 2012、ADE20K 和 Cityscapes 三个公共数据集上的大量实验证明了提出的 GSC 模型的有效性。

    Jul, 2023