基础分割模型的稳健性分析

Jun, 2023

Robustness Analysis on Foundational Segmentation Models

Madeline Chantry Schiappa, Sachidanand VS, Yunhao Ge, Ondrej Miksik, Yogesh S. Rawat...

TL;DR本文通过性能评估研究了在分割任务中对真实世界分布偏移抗干扰能力的不同模型，发现 Visual Foundation Models（VFMs）对基于压缩的破坏不具备鲁棒性，而非 VFM 模型在监督下表现更加强健，但在零样本评估中仍然竞争性鲁棒，VFMs 则在特定类别的对象上表现出更高的韧性。

Abstract

Due to the increase in computational resources and accessibility of data, an increase in large, deep learning models trained on copious amounts of data using self-supervised or semi-supervised learning have emerged. These "foundation" models are often adapted to a variety of downstream

deep learning self-supervised learning segmentation tasks robustness analysis visual foundation models

发现论文，激发创造

如何为语义分割基础模型进行基准测试？

最近的视觉基础模型在各种任务中展示了高效性，但需要有监督的精调才能有效地执行语义分割任务。本文的主要目标是研究如何对视觉基础模型进行语义分割的基准测试，通过在不同设置下对各种模型进行细调并评估各个设置对性能和训练时间的影响，提出了建议的基准测试设置，以评估视觉基础模型的性能。

Apr, 2024

基于基础模型的医学图像分割的域外鲁棒性

构建一个强健的模型，能够在分布转变的情况下有效地泛化到测试样本，在医学影像领域仍然是一个重要的挑战。本研究通过对基于自然图像和文本数据进行预训练的视觉和语言基础模型进行 fine-tuning 后的鲁棒性评估，证明了基于基础模型的优越性。此外，研究还开发了一种新的冻结模型的贝叶斯不确定性估计方法，并将其用作衡量模型在超出分布数据上性能的指标，对于实际应用具有显著的益处。实验不仅揭示了在自然图像应用中常用的线上准确性和线上一致性指标的局限性，还强调了引入贝叶斯不确定性的潜力，特别是低不确定性预测通常具有更高的超出分布性能。

Nov, 2023

基于基础模型时代的少样本语义分割新基准

在计算机视觉中，我们比较了四种著名的视觉基础模型（DINO V2，Segment Anything，CLIP，Masked AutoEncoders 和在 COCO 数据集上预训练的 ResNet50），发现 DINO V2 在各种数据集和适应方法上始终优于其他模型，突出了其在语义分割任务上的优越适应能力。此外，我们观察到各种适配器方法表现相似，强调了选择稳健特征提取器比适应技术本身的复杂性更为重要，这一发现揭示了在少样本语义分割情境中特征提取的关键作用。此研究不仅为少样本语义分割领域的视觉基础模型的比较性能提供宝贵见解，还强调了稳健特征提取器在该领域的重要性。

Jan, 2024

对语义分割模型鲁棒性的基准测试

本研究的目的是针对 DeepLabv3+ 模型在语义分割应用中的鲁棒性进行全面调查，研究结果显示性能与鲁棒性有很大关系，而有些架构属性则对鲁棒性产生了显著影响。

Aug, 2019

视觉基础模型提升跨模态无监督域自适应在 3D 语义分割中

利用 2D 视觉基础模型 (VFM) 的先验知识，我们提出了一种新的 VFMSeg 流水线，通过利用这些模型来进一步增强跨模态的无监督领域自适应框架，以提供更精确的无标签目标领域标签并改善整体性能。

Mar, 2024

更强，更少，更优：利用视觉基础模型进行领域通用语义分割

该研究中，我们首先评估和利用各种视觉基础模型（Vision Foundation Models）在域泛化语义分割（Domain Generalized Semantic Segmentation）中的应用。我们引入了一种名为 Rein 的强大微调方法，通过利用更强的预训练模型和更少的可训练参数来提高模型的泛化能力。实验证明，Rein 在各种设置下明显优于现有方法，并在 Cityscapes 数据集上获得了令人惊讶的 68.1% 的 mIoU，而仅使用了额外 1% 的可训练参数。

Dec, 2023

通过弱监督适应提高分割基础模型在分布变化下的泛化能力

基于自训练的策略，通过锚点规范化和低秩微调，提升了图像分割基础模型的适应性和计算效率，并在多个下游分割任务中表现出优于预训练模型 SAM 和最先进的领域自适应方法的性能。

Dec, 2023

前列腺成像分割基础模型的经验分析

对于医学图像分割的基础模型 UniverSeg 进行了实证评估研究，与传统的任务特定分割模型进行了比较，结果和讨论凸显了发展和采用基础模型在医学图像分割领域中的重要因素。

Jul, 2023

医学影像分割：从传统模型到基础模型的超越像素级监督

医学图像分割的注释高效学习与基础模型的挑战：综述与分析。

Apr, 2024

探索视觉基础模型在无监督领域自适应中的优势

在计算机视觉领域，研究通过视觉基础模型和无监督域自适应方法在语义分割任务中的结合对提升无监督域自适应性能和增强视觉基础模型外分布泛化能力具有重要价值。实验结果表明，将视觉基础模型与无监督域自适应方法相结合，不仅能在维持视觉基础模型外分布性能的同时提升无监督域自适应性能，还可以减少耗时的组件，大幅提升推理速度，并取得了远超现有状态的良好表现。

Jun, 2024