CVPRJun, 2024

探索视觉基础模型在无监督领域自适应中的优势

PDF
TL;DR在计算机视觉领域，研究通过视觉基础模型和无监督域自适应方法在语义分割任务中的结合对提升无监督域自适应性能和增强视觉基础模型外分布泛化能力具有重要价值。实验结果表明，将视觉基础模型与无监督域自适应方法相结合，不仅能在维持视觉基础模型外分布性能的同时提升无监督域自适应性能，还可以减少耗时的组件，大幅提升推理速度，并取得了远超现有状态的良好表现。
robust generalizationcomputer visionvision foundation modelsunsupervised domain adaptationsemantic segmentation
发现论文，激发创造
  • 视觉基础模型提升跨模态无监督域自适应在 3D 语义分割中

    利用 2D 视觉基础模型 (VFM) 的先验知识，我们提出了一种新的 VFMSeg 流水线，通过利用这些模型来进一步增强跨模态的无监督领域自适应框架，以提供更精确的无标签目标领域标签并改善整体性能。

    Mar, 2024

  • 跨模态图像分割的高效无监督领域自适应算法

    本文提出了一种新的数据有效的多域医学图像分割的深度无监督领域自适应方法，该方法结合了基于变分自编码器的特征先验匹配和域对抗训练，以学习共享的域不变潜在空间进行分割。在公共多模态心脏图像分割数据集上评估，在仅使用一个未标记的 3D CT 扫描的情况下，该方法在相同的设定下胜过现有的技术。最后，我们对先验匹配和域对抗训练进行了消融研究，以阐明所提出方法的理论基础。

    Jul, 2019

  • 具有视觉 - 语言基础模型的开放域适应

    无监督域自适应对标记数据集域与无标记数据集域之间的知识转移非常有效，开放集域自适应解决了目标域中可能存在的未知类别问题，这项工作探索了使用 CLIP 来应用于开放集域自适应的通用方法，并通过熵优化策略提高了模型性能，提供了在多个基准测试上最新的结果，证明了其在解决目标域适应问题中的有效性。

    Jul, 2023

  • 大型语言 - 视觉模型对无源视频领域自适应的非理性有效性

    利用大型语言视觉模型（LLVMs）进行领域自适应以提升无源视频无监督领域自适应（SFVUDA）方法的效果。

    Aug, 2023

  • 语义分割的无监督域自适应重新思考

    该论文研究了利用少量标记数据来对无监督领域适应（UDA）进行数据中心性思考，并探究了如何优选经典的 UDA 方法的超参数和使用少量标记数据进行微调的效果。

    Jun, 2022

  • 无源域自适应语义分割

    通过知识迁移和自监督学习，提出了一种基于 source-free 的语义分割域适应框架 SFDA，它可以在只有一个经过良好训练的源模型和一个未标注的目标域数据集的情况下，在语义分割中恢复和保存源域知识。

    Mar, 2021

  • 基于内部表示的在线连续域适应语义图像分割

    本研究提出一种在线无监督域自适应算法，通过在共享嵌入空间中最小化源潜在特征与目标特征之间的分布距离，促进两个领域之间的共享领域无关潜在特征空间，从而改善图像的语义分割模型在未注释领域上的泛化性能。为了在自适应过程中减轻对源样本访问的需求，我们通过一个合适的替代分布（如高斯混合模型）来近似源潜在特征分布。我们在已建立的语义分割数据集上评估了我们的方法，并证明它在未注释领域的泛化性能上与最先进的无监督域自适应方法相比具有竞争优势。

    Jan, 2024

  • 在自适应目标检测中寻求相似性优于差异性：基于相似性的领域对齐

    提出了一个广义的 Unsupervised Domain Adaptation 框架，基于此直接实现了 ViSGA 算法，通过视觉相似性分组来聚合特征，并基于对抗训练进行群体对齐，并将其应用在多源数据集中，在 Sim2Real 和 Adverse Weather 数据集上取得了优于之前方法的性能。

    Oct, 2021

  • 将视觉 - 语言模型的固有知识与无监督领域自适应相结合的自知识蒸馏

    无监督领域自适应 (UDA) 通过利用标记的源数据集并将其知识转移到相似但不同的目标数据集，克服了标记数据的繁琐工作。本文结合 UDA 获得的知识与视觉 - 语言模型的内在知识。通过视觉 - 语言模型生成源数据集和目标数据集的零样本预测，调整分布以凸显获胜概率，同时使用源数据和目标数据以保持相对置信度。我们通过传统的领域自适应方法和自知识蒸馏法结合实现对源数据集的知识获取，并将该方法与一种渐进源域扩展策略 (GSDE) 相结合，结果表明零样本预测也有益处。我们在三个基准测试集 (OfficeHome、VisDA 和 DomainNet) 上进行实验和消融研究，超过了最先进的方法，并在消融研究中展示了我们算法不同部分的贡献。

    Dec, 2023

  • 基于深度感知的语义分割域自适应

    该工作提出了一种统一的深度感知无监督域自适应框架，通过在源领域中利用密集深度的多种补充方式，最大限度地利用了这种特权信息来训练 UDA 模型，从而提高了目标领域上训练的语义分割模型的性能，并在不同的具有挑战性的 synthetic-2-real 基准测试上实现了最先进的性能。

    Apr, 2019