基于协作的领域泛化语义分割的基础模型
通过联合使用半监督学习与领域泛化方法,提出了 SSL-DG,实现了在有限标注数据下的跨域泛化效果,并在两个具有挑战性的领域泛化任务中显著优于现有方法。
Nov, 2023
本文提出了一种基于随机图像颜色增强和特征空间分布增强的域通用语义分割方法,通过对图像或特征进行性质适应性调整来增广数据集,从而提高模型的泛化性能。实验结果表明,该方法在现有方法中表现最佳。
Jul, 2023
我们提出了一种半监督领域泛化模型,通过利用有限的有标签数据和大量的无标签数据来学习领域通用特征。我们的方法在两种不同的半监督领域泛化设置中,在五个具有挑战性的基准测试中实现了一致且显著的进展。
Mar, 2024
该研究中,我们首先评估和利用各种视觉基础模型(Vision Foundation Models)在域泛化语义分割(Domain Generalized Semantic Segmentation)中的应用。我们引入了一种名为 Rein 的强大微调方法,通过利用更强的预训练模型和更少的可训练参数来提高模型的泛化能力。实验证明,Rein 在各种设置下明显优于现有方法,并在 Cityscapes 数据集上获得了令人惊讶的 68.1% 的 mIoU,而仅使用了额外 1% 的可训练参数。
Dec, 2023
本文介绍了一种基于 Segment Anything Model (SAM) 的单源域泛化方法,通过引入并行框架以及经过细化的分割模块对源图像进行处理,从而大大提高了泛化能力,实验结果表明该方法与其他先进的领域泛化方法相比获得了有竞争力的结果。
Jan, 2024
该论文设计了第一个实验环境,研究激光雷达语义分割的域泛化问题。通过提出一种具有传输学习功能的网络模型,有效地减少了领域之间的差距,从而解决了同领域分割方法不能满足跨领域泛化问题的难题。
Apr, 2023
通过分析频率在域差异中的影响,Frequency-mixed Single-source Domain Generalization method (FreeSDG) 利用混合频谱增强单源域,同时在域增强中构建自我监督来学习上下文感知的鲁棒表示,从而提高分割模型的泛化能力。实验证明了该方法的有效性,并显著改进了分割模型的泛化能力,对于提升医学图像分割模型的泛化能力,尤其是在数据标注稀缺时,FreeSDG 提供了一个有前途的解决方案。
Jul, 2023
本文中,我们介绍了一个名为 “广义 Few-Shot 语义分割(GFS-Seg)” 的新基准数据集,用于分析在同时分割具有非常少的示例的新类别和具有足够示例的基础类别的情况下的内在泛化能力。我们提出了一种名为 “上下文感知原型学习(CAPL)” 的方法来提高模型的性能,该方法通过从支持样本中利用共现先验知识并动态丰富上下文信息到分类器,条件是基于每个查询图像的内容。在 Pascal-VOC 和 COCO 上的实验表明了 CAPL 的有效性,CAPL 在 Few-Shot Segmentation 上具有很好的泛化性能,且性能与现有状态 - of-the-art 方法相比有竞争力。
Oct, 2020
为了解决深度学习模型在未知目标域中的语义分割性能下降的问题,本研究提出了一种名为 BlindNet 的新型域泛化语义分割方法,通过盲化样式且无需外部模块或数据集来提高编码器中样式的鲁棒性,同时通过协方差对齐和语义一致性对比学习来提高解码器的分割性能,实验结果表明,BlindNet 方法在语义分割中性能优越且鲁棒性强。
Mar, 2024
这项研究旨在利用预训练的基础模型,如对比语言图像预训练(CLIP)和分段任意模型(SAM),利用图像级别标签解决弱监督语义分割(WSSS)。为此,我们提出了基于 CLIP 和 SAM 的粗到精细的框架,用于生成高质量的分割种子。我们通过冻结权重的 CLIP 和两组可学习的任务特定提示共同执行图像分类任务和种子分割任务。我们设计了一个基于 SAM 的分区(SAMS)模块,并将其应用于每个任务以生成粗糙或精细的种子图。此外,我们设计了一个多标签对比损失,由图像级别标签监督,和一个由生成的粗糙种子图监督的 CAM 激活损失。这些损失用于学习提示,在我们的框架中,提示是唯一需要学习的部分。一旦学习了提示,我们将每个图像以及学习的分割特定提示输入到 CLIP 和 SAMS 模块中,以生成高质量的分割种子。这些种子用作伪标签,用于训练一种现成的分割网络,就像其他两阶段的 WSSS 方法一样。实验证明,我们的方法在 PASCAL VOC 2012 上取得了最先进的性能,并在 MS COCO 2014 上获得了有竞争力的结果。
Dec, 2023