内窥镜场景中连续语义分割的典型样本重新思考：基于熵的小批量伪重放

Aug, 2023

内窥镜场景中连续语义分割的典型样本重新思考：基于熵的小批量伪重放

Rethinking Exemplars for Continual Semantic Segmentation in Endoscopy Scenes: Entropy-based Mini-Batch Pseudo-Replay

Guankun Wang, Long Bai, Yanan Wu, Tong Chen, Hongliang Ren

TL;DR提出了一种 Endoscopy Continual Semantic Segmentation (EndoCSS) 框架，通过迭代生成模型的伪回放图像和自适应噪声交叉熵损失，解决内镜图像分割中因类别增量引起的灾难性遗忘问题。通过在公共数据集上进行大量的持续语义分割实验，证明了该方法能够有效地应对内镜场景中的灾难性遗忘问题，并具有在流式学习方式下进行实际部署的巨大潜力。

Abstract

endoscopy is a widely used technique for the early detection of diseases or robotic-assisted minimally invasive surgery (RMIS). Numerous deep learning (DL)-based research works have been developed for automated d

endoscopy deep learning continual learning semantic segmentation catastrophic forgetting

发现论文，激发创造

解决连续语义分割中的灾难性遗忘和背景偏移

本文提出了一种名为 PLOP 的方法，使用了多尺度池化蒸馏技术，在特征级别上保留了长程和短程空间关系，并设计了一种基于熵的伪标签方法来处理背景变化和避免旧类的灾难性遗忘，并引入了一种新的排练方法，特别适用于分割。在现有的连续语境场景以及新的提出的具有挑战性的基准测试中，我们的方法显着优于现有的最先进方法。

Jun, 2021

隐私保存的机器人手术持续语义分割合成

基于深度神经网络的语义分割可提高机器人辅助手术中手术器械和组织的精确性。然而，在生物学学习中，深度神经网络无法随着时间的推移学习增量任务，表现出灾难性遗忘现象。为了解决这个问题，本研究开发了一种隐私保护的合成持续语义分割框架，通过合成背景和新器械来均衡地融合旧模型和持续学习模型，同时引入了多尺度特征蒸馏以保持语义对象之间的长短距离空间关系。

Feb, 2024

腹部多器官和肿瘤分割的持续学习

本文提出了一种用于连续器官和肿瘤分割任务的创新结构，包括一系列轻量级的、类特定的输出头，以及将对比语言 - 图像预训练嵌入到器官特定的头中。实验结果表明该方法在学习过程中提高了基线神经网络对新引入和先前学习类别的分割性能。

Jun, 2023

基于重播的连续学习在语义分割中的应用: RECALL

研究使用生成对抗网络和网络抓取数据重现不可用的旧类数据，避免遗忘和背景类的数据分布变化，达到在连续学习中存在不同步骤和背景类分布变化的情况下更好的表现。

Aug, 2021

PLOP: 持续语义分割中无遗忘学习

通过提出 Local POD 算法和基于熵的伪标记方法 PLOP，解决了在连续学习的语义分割任务中遗忘问题和背景漂移问题，提高了模型的性能。

Nov, 2020

基于一致性学习的内窥镜图像域适应方法在器械分割中的应用

本研究提出了一种基于一致性的方法，用于联合学习模拟和真实内窥镜数据的手术工具分割问题，实验结果表明，该方法在手术工具分割领域具有相对较好的效果。

Jul, 2020

低维混合专家模型在医学图像分割中的应用

在医学图像分割领域的持续学习任务中，我们提出了一种使用数据特定的专家组（MoE）结构解决新任务或类别的问题的网络，以确保网络参数对先前任务的影响最小化，并通过引入低秩策略显著降低引入附加结构所带来的内存开销。在多个数据集上进行的广泛实验证明了我们的模型优于其他所有方法。

Jun, 2024

持续语义分割研究综述：理论、挑战、方法与应用

连续学习在深度学习和人工智能系统中具有突破性意义，本文以连续语义分割为例，全面调查其问题形式、主要挑战、通用数据集、新理论和多样应用，并分类整理了当前 CSS 模型中的数据回放和无数据集两个主要分支方法，并提供了具有不同应用场景和发展趋势的四个 CSS 特性。

Oct, 2023

通过对比插值一致性进行持续的半监督学习

本文探讨了基于少量标注数据的持续半监督学习问题，并设计了一种利用度量学习和一致性正则化的新方法，仅依赖 25% 的监督数据即可优于全监督训练下的 SOTA 方法。

Aug, 2021

内镜视频分析的自监督学习

自监督学习 (SSl) 在计算机视觉中取得了重要突破，在生物医学中具有重要作用，特别是在需要高度专业知识的数据注释领域。本研究使用先进的 SSL 框架，即 Masked Siamese Networks (MSNs)，对内窥镜视频分析进行研究，以检测和治疗感染、慢性炎症性疾病或癌症。我们构建了大规模的无标签内窥镜视频数据集，用于训练 MSNs，以充分利用 SSL 的优势，并通过有限的注释数据集进行二次训练，从而在内窥镜基准测试中实现了最先进的性能，如腹腔镜和结肠镜手术阶段识别以及结肠镜息肉表征。此外，我们实现了注释数据量的 50％减少，同时不降低性能。因此，我们的工作证明了 SSL 在内窥镜检查中可以大大减少对注释数据的需求。

Aug, 2023