Nov, 2023

基于对比注意力的公平学习：开放世界下的连续语义场景理解

HTML
PDF
TL;DR通过对比注意力的公平性学习方法，解决持续学习中语义场景理解的灾难性遗忘、公平性、背景转移和未知类的问题，并在ADE20K、Cityscapes和Pascal VOC等标准基准上取得了最先进的性能。
发现论文，激发创造
  • PLOP: 持续语义分割中无遗忘学习

    通过提出 Local POD 算法和基于熵的伪标记方法 PLOP，解决了在连续学习的语义分割任务中遗忘问题和背景漂移问题，提高了模型的性能。

    Nov, 2020

  • 稀疏解耦潜在表示的斥力吸引驱动下的不断语义分割

    本文提出了一种新的持续学习方案，该方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题，在语义分割上进行了测试并在Pascal VOC2012和ADE20K数据集上取得了显著的准确性，远超过现有技术。

    Mar, 2021

  • 解决连续语义分割中的灾难性遗忘和背景偏移

    本文提出了一种名为PLOP的方法，使用了多尺度池化蒸馏技术，在特征级别上保留了长程和短程空间关系，并设计了一种基于熵的伪标签方法来处理背景变化和避免旧类的灾难性遗忘，并引入了一种新的排练方法，特别适用于分割。在现有的连续语境场景以及新的提出的具有挑战性的基准测试中，我们的方法显着优于现有的最先进方法。

    Jun, 2021

  • CLEAR基准：真实世界图像上的持续学习

    本文介绍了CLEAR数据集，通过一种新颖的、可扩展的、低成本的视觉语言数据集策划方法，利用预训练的视觉语言模型CLIP交互式地构建标记数据集并进行验证，清除了错误和不合适的图像，提出了流处理评估协议并发现，流处理协议可以产生模型更普遍的、更准确的性能估计，包括半监督学习。

    Jan, 2022

  • RegionPLC：区域点-语言对比学习用于开放世界3D场景理解

    本文提出了一种开放式3D场景理解模型——RegionPLC，并通过对模型进行训练，使其具有开放词汇识别能力。采用密集视觉提示来引导从2D基本模型中提取区域级视觉语言知识，通过指针鉴别式对比学习，进一步使其实现从标题中对密集场景进行理解，最终在ScanNet、ScanNet200和nuScenes数据集上进行了详尽实验，实现的结果较之前的3D开放式场景理解方法有显著提升。

    Apr, 2023

  • 开放环境下语义场景理解的公平持续学习方法

    本文提出了一种基于公平性目标的新型公平连续学习框架，通过基于类分布的方法来解决语义分割中的公平问题，并提出了一种新型的原型对比聚类损失和有条件的结构一致性损失，用于应对连续学习中的灾难性遗忘和背景变化等重要挑战。该方法在三个标准的场景理解基准测试中均取得了最新的表现，并提高了模型的公平性。

    May, 2023

  • 继承与蒸馏，对比进化：探索无样本记忆的类别增量语义分割

    本文提出了一种新的方法Inherit with Distillation and Evolve with Contrast (IDEC)，它通过Dense Knowledge Distillation on all Aspects (DADA)和Asymmetric Region-wise Contrastive Learning (ARCL)模块解决了类增量语义分割中遇到的灾难性遗忘问题和语义漂移问题，并在多个CISS任务中展现出卓越的性能。

    Sep, 2023

  • 持续语义分割研究综述：理论、挑战、方法与应用

    连续学习在深度学习和人工智能系统中具有突破性意义，本文以连续语义分割为例，全面调查其问题形式、主要挑战、通用数据集、新理论和多样应用，并分类整理了当前 CSS 模型中的数据回放和无数据集两个主要分支方法，并提供了具有不同应用场景和发展趋势的四个 CSS 特性。

    Oct, 2023

  • 持续学习是否为现实世界的挑战做好准备？

    通过使用模拟真实世界条件的新实验协议，本文验证了关于连续学习的假设，并评估迄今取得的进展。结果表明，考虑到所有方法均表现不佳，明显偏离联合离线训练的上限，这对现实环境中的现有方法的适用性提出了问题。本文旨在通过新的实验协议来倡导采用连续学习方法，以在该领域取得突破。

    Feb, 2024

  • 借助语言引导监督增强视觉持续学习

    利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

    Mar, 2024