将视觉 - 语言模型的固有知识与无监督领域自适应相结合的自知识蒸馏

Dec, 2023

将视觉 - 语言模型的固有知识与无监督领域自适应相结合的自知识蒸馏

Combining inherent knowledge of vision-language models with unsupervised domain adaptation through self-knowledge distillation

PDF

Thomas Westfechtel, Dexuan Zhang, Tatsuya Harada

TL;DR无监督领域自适应 (UDA) 通过利用标记的源数据集并将其知识转移到相似但不同的目标数据集，克服了标记数据的繁琐工作。本文结合 UDA 获得的知识与视觉 - 语言模型的内在知识。通过视觉 - 语言模型生成源数据集和目标数据集的零样本预测，调整分布以凸显获胜概率，同时使用源数据和目标数据以保持相对置信度。我们通过传统的领域自适应方法和自知识蒸馏法结合实现对源数据集的知识获取，并将该方法与一种渐进源域扩展策略 (GSDE) 相结合，结果表明零样本预测也有益处。我们在三个基准测试集 (OfficeHome、VisDA 和 DomainNet) 上进行实验和消融研究，超过了最先进的方法，并在消融研究中展示了我们算法不同部分的贡献。

Abstract

unsupervised domain adaptation (UDA) tries to overcome the tedious work of labeling data by leveraging a labeled source dataset and transferring its knowledge to a similar but different target dataset. On the other hand, current vision-language models exhibit astonishing →

unsupervised domain adaptation zero-shot prediction vision-language model self-knowledge distillation gradual source domain expansion strategy

发现论文，激发创造

无监督多源域自适应，无需访问源数据

该研究提出了一种算法，可以在没有源数据和目标标签的情况下，自动结合适当的权重来组合源模型，以获得与最佳源模型同样好的性能，这为无监督领域自适应提供了实用性的解决方案。

Apr, 2021

无监督深度域自适应中的潜在域推断

本文提出了一种新的深度学习架构，通过自动发现视觉数据中的潜在域并利用这些信息来学习强健的目标分类器来解决不带标签数据的目标域学习问题，在公共基准测试中表现优于现有的方法。

Mar, 2021

领域自适应语义分割的样式适应

我们提出了一种简单直接的方法来减小不同领域之间的差异，该方法无需进行额外的参数计算，并且可以与基于自训练的无监督领域适应方法无缝集成。通过在潜在特征空间中将目标领域的风格传递给源领域，该模型在决策过程中优先考虑目标领域的风格，在图像级别和浅层特征图级别上解决了该问题，并实现了在目标领域上出色的性能。我们的方法在合成到真实的无监督领域适应任务中取得了显著的性能提升，比如在 GTA->Cityscapes 数据集上达到了显著的 UDA 性能，mIoU 为 76.93%，比先前最先进结果改善了 1.03 个百分点。

Apr, 2024

基于假设传递和标签传递的源数据缺失无监督域自适应

本文针对数据保护的要求，提出了一种基于分类模型训练的无监督领域自适应方法：Source HypOthesis Transfer (简称 SHOT)，通过提取目标领域的特征并利用同一假设对原数据和目标数据进行映射，同时利用半监督学习来提高目标域中置信度较低的样本的准确性，实现了卓越的性能及实用价值。

Dec, 2020

基于黑盒源模型的分割无监督领域自适应

本文提出了一种基于黑盒分割模型的无监督域自适应解决方案，利用指数混合衰减的知识蒸馏方案逐步学习目标特定表示，并应用无监督熵最小化来规范目标域置信度，最终在 BraTS 2018 数据库上取得了与白盒源模型适应方法相当的性能。

Aug, 2022

领域迁移中的调整知识可视化

本文介绍了一种新的无监督域适应方法，通过图像翻译表达源模型与目标模型之间的知识差异，使用该方法为目标模型生成源风格的图像，实现进一步调整目标模型，从而避免了访问源数据的需要。

Apr, 2021

视觉分类的无监督域扩展

本文提出一种新的任务，称为无监督域扩展（UDE），在此任务中，我们扩展了无监督域自适应（UDA）方法，并引入知识蒸馏域扩展（KDDE）作为 UDE 任务的一般方法。我们的研究表明，KDDE 比四个竞争基线更优秀，同时在源域和目标域上保持高性能。

Apr, 2021

领域增强的域自适应

本文提出了一种基于伪领域生成的领域增强领域自适应方法（DADA），通过生成与目标域差异更小的伪领域，减小跨域偏差，进而增强知识转移过程并将标签方法应用于 DADA 模型中，结果表明该模型优秀。

Feb, 2022

知识蒸馏实现的无监督多目标域自适应

本文提出了一种新的无监督多目标域自适应方法，通过多教师知识蒸馏来训练 CNN，使其可以在多个目标领域上广义化。该方法通过逐步蒸馏目标域知识到一个共同的学生无直接学习域适应特征，同时保留每个目标（教师）的特异性以适应学生，通过在多项具有挑战性的 UDA 基准测试上的实证结果表明，我们提出的模型可以在多个目标域上提供较高水平的准确性。

Jul, 2020

深度无监督域自适应：近期进展和展望综述

深度学习在许多领域都展现出其超凡表现，但仅仅依靠大量标记数据来训练模型并不能保证其在面临目标域的分布变化时仍有出色的表现，无监督域自适应通过利用源领域标记数据和目标领域未标记数据来解决该问题，并已在自然图像处理、自然语言处理等领域取得了许多令人期待的结果，该文对该领域的方法和应用进行了系统比较，并强调了当前方法的不足及未来研究方向。

Aug, 2022