Dec, 2023

更强，更少，更优：利用视觉基础模型进行领域通用语义分割

PDF
TL;DR该研究中，我们首先评估和利用各种视觉基础模型（Vision Foundation Models）在域泛化语义分割（Domain Generalized Semantic Segmentation）中的应用。我们引入了一种名为 Rein 的强大微调方法，通过利用更强的预训练模型和更少的可训练参数来提高模型的泛化能力。实验证明，Rein 在各种设置下明显优于现有方法，并在 Cityscapes 数据集上获得了令人惊讶的 68.1% 的 mIoU，而仅使用了额外 1% 的可训练参数。
vision foundation modelsdomain generalized semantic segmentationfine-tuning approachtrainable parametersrein
发现论文，激发创造
  • 一个重新参数化的视觉变换器（ReVT）用于领域通用的语义分割

    基于数据增强驱动的方法，使用重新参数化的视觉 Transformer（ReVT）和多模型训练后的权重平均化，实现语义分割的域通用化，在多个基准数据集上实现了 47.3％（之前的技术：46.3％）的小型模型和 50.1％（之前的技术：47.8％）的中型模型的最新 mIoU 性能，同时需要更少的参数，并且帧速率更高，与最佳之前的技术相比，易于实施，而且在推断期间不会增加任何计算复杂度。

    Aug, 2023

  • 基础分割模型的稳健性分析

    本文通过性能评估研究了在分割任务中对真实世界分布偏移抗干扰能力的不同模型，发现 Visual Foundation Models（VFMs） 对基于压缩的破坏不具备鲁棒性，而非 VFM 模型在监督下表现更加强健，但在零样本评估中仍然竞争性鲁棒，VFMs 则在特定类别的对象上表现出更高的韧性。

    Jun, 2023

  • 利用视觉基础模型，高效训练小型任务专用模型

    利用大型视觉基础模型（VFMs）通过在庞大数据集上预训练，以及在有限标记的目标数据下展现出优异性能的情况下，提出了一种简单高效的面向任务的知识迁移方法，用于对小型任务特定模型进行有效训练。实验结果表明，该方法在有限标记数据的情况下，在四个目标任务上的性能优于面向任务无关的 VFM 蒸馏、Web 规模 CLIP 预训练和监督式 ImageNet 预训练，分别提升了 1-10.5%、2-22% 和 2-14%。研究还指出了用于知识迁移的数据集对最终目标任务性能的显著影响，并提出了基于图像检索的方法来筛选有效的迁移集。

    Nov, 2023

  • 生成和判别视觉基础模型的统一化探索

    预训练基础模型的出现带来了计算机视觉领域的新篇章，其具有鲁棒性和显著的零样本泛化能力。本综述重点探讨了视觉基础模型在生成任务和判别任务方面的可扩展性、熟练度以及诸多方法。同时，我们整理和讨论了促进视觉基础模型开发的广泛资源，并解决了未来研究所面临的挑战。融合生成模型和判别模型是未来创新的重要方向，而将生成模型应用于判别上的初步尝试表明了这种融合的早期阶段。本综述旨在成为学者和从业者的现代汇编，勾勒视觉基础模型的发展轨迹，阐明其多方面的领域。

    Dec, 2023

  • VLTSeg: 用于领域泛化语义分割的基于 CLIP 的视觉 - 语言表示简单转移

    本研究提出了一种基于视觉 - 语言模型的视觉语义分割方法，通过在源领域进行训练并在未见目标领域进行评估，提高了领域通用性。实验证明，该方法在域通用分割中的性能优于传统的视觉训练方法，取得了 7.6% mIoU 的提升。同时，在主流数据集上取得了 76.48% mIoU 的性能，超过了此前最优方法 6.9% mIoU 的水平。还表明该方法在领域内具有强大的泛化能力，并在当前排行榜上与最优方法并列第一。

    Dec, 2023

  • 基于协作的领域泛化语义分割的基础模型

    使用 CoLlaborative FOUndation 模型组合来进行域泛化语义分割，通过集成不同类型特征模型实现内容多样性和预测优化，从而在适应各种目标分布并在不同天气条件下从合成到实际场景的域泛化语义分割基准中表现出色。

    Dec, 2023

  • 监督微调进一步提升视觉基础模型

    图像 - 文本训练如 CLIP 已经在近年来直接影响了视觉基础模型的预训练。本文提出了一种名为 ViSFT（Vision SFT）的两阶段方法，通过对一些领域内任务进行视觉联合学习，进而增强视觉基础模型的精细知识。该方法在 8 个 V100 GPU 上不到 2 天的时间内使用 ViSFT 进行更新，展示了一个带有超过 4.4B 参数的视觉转换器在包括视觉和视觉 - 语言场景在内的各种领域外基准测试中的改进。

    Jan, 2024

  • IFSeg：基于视觉语言模型的无图像语义分割

    本文提出了一种新的无图像分割任务，旨在通过视觉语言预训练模型，生成基于语义类别的人工图像分割对，并通过对这些人工对的学习，让预训练模型适应于分割任务，该方法在实验中表现良好。

    Mar, 2023

  • 基于基础模型时代的少样本语义分割新基准

    在计算机视觉中，我们比较了四种著名的视觉基础模型（DINO V2，Segment Anything，CLIP，Masked AutoEncoders 和在 COCO 数据集上预训练的 ResNet50），发现 DINO V2 在各种数据集和适应方法上始终优于其他模型，突出了其在语义分割任务上的优越适应能力。此外，我们观察到各种适配器方法表现相似，强调了选择稳健特征提取器比适应技术本身的复杂性更为重要，这一发现揭示了在少样本语义分割情境中特征提取的关键作用。此研究不仅为少样本语义分割领域的视觉基础模型的比较性能提供宝贵见解，还强调了稳健特征提取器在该领域的重要性。

    Jan, 2024

  • 如何为语义分割基础模型进行基准测试？

    最近的视觉基础模型在各种任务中展示了高效性，但需要有监督的精调才能有效地执行语义分割任务。本文的主要目标是研究如何对视觉基础模型进行语义分割的基准测试，通过在不同设置下对各种模型进行细调并评估各个设置对性能和训练时间的影响，提出了建议的基准测试设置，以评估视觉基础模型的性能。

    Apr, 2024