无监督域自适应对标记数据集域与无标记数据集域之间的知识转移非常有效，开放集域自适应解决了目标域中可能存在的未知类别问题，这项工作探索了使用 CLIP 来应用于开放集域自适应的通用方法，并通过熵优化策略提高了模型性能，提供了在多个基准测试上最新的结果，证明了其在解决目标域适应问题中的有效性。

Jul, 2023

通过提出自主引导的语义分割（Self-Seg）框架和基于 LLM 的开放式词汇评估器（LOVE），在不需要提供类别名称的情况下，实现了开放式词汇分割的最新成果，并与提供类别名称的方法相竞争，取得了 Pascal VOC、ADE20K 和 CityScapes 的最具竞争力的结果。

Dec, 2023

基于 transformer 编码器，我们引入了一种称为 VLSM-Adapter 的新型适配器，它可以使用预训练的视听分割模型进行微调，我们的实验证明，仅有 300 万可训练参数的 VLSM-Adapter 优于最先进的技术，并且与上限末端微调具有可比性。

May, 2024

本文提出了一种基于 VLM 的开放词汇无监督领域自适应框架，并通过 Prompt Ensemble Self-Training 技术来提高领域间的图像和文本分布的转移灵活性和效率， 实验结果表明其在 10 个图像识别任务中比目前最先进的技术表现更优秀。

Jun, 2023

通过大规模视觉 - 语言模型，我们提出了一种简单但非常有效的无需训练的技术，Plug-and-Play 开放词汇语义分割（PnP-OVSS），并通过 Salience Dropout 技术实现了与现有技术相比的显着改善。

Nov, 2023

本研究介绍了一种旨在将可见语言模型（VLM）巧妙地应用于医学领域的框架，采用选择性采样和难负样本挖掘技术以提升检索任务的性能。在两个不同的 VLM（MedCLIP 和 ALBEF）上实施我们的方法，并使用包含乳房 X 光和其相应报告的两个大型数据集来验证其有效性。通过我们的方法，在图像文本检索任务的 Recall@K 性能方面观察到显著的改善。

May, 2024

本研究提出了一种基于视觉 - 语言模型的视觉语义分割方法，通过在源领域进行训练并在未见目标领域进行评估，提高了领域通用性。实验证明，该方法在域通用分割中的性能优于传统的视觉训练方法，取得了 7.6% mIoU 的提升。同时，在主流数据集上取得了 76.48% mIoU 的性能，超过了此前最优方法 6.9% mIoU 的水平。还表明该方法在领域内具有强大的泛化能力，并在当前排行榜上与最优方法并列第一。

Dec, 2023

在此研究中，我们研究了一种基于文本的视觉与语言模型训练方法，并探索了如何根据下游任务的特点从大型语言模型中采样文本数据，以显著提升视觉识别性能。与先前方法相比，我们展示了达 (交) 领域特定适应的性能提高达 8.4％，精细化识别提高达 8.7％，零标记分类整体平均提高达 3.1％。

Sep, 2023

本研究利用预训练的 CLIP 和 DINO 模型的多模式知识和物体推理能力来解决三维开放式词汇分割的挑战。通过优化神经辐射场 (NeRF) 并引入相应的损失函数，本研究在无需进行微调的情况下，以开放式视觉和文本知识为先验知识，从 2D 特征中提取出 3D 分割特征。通过实验验证，本研究所提出的方法在无需分割注释的情况下，甚至优于完全监督的分割模型训练，表明三维开放式词汇分割可以有效地从 2D 图像和文本图像对中学到。

May, 2023

利用 2D 视觉基础模型 (VFM) 的先验知识，我们提出了一种新的 VFMSeg 流水线，通过利用这些模型来进一步增强跨模态的无监督领域自适应框架，以提供更精确的无标签目标领域标签并改善整体性能。

Mar, 2024