Dec, 2023
将视觉-语言模型的固有知识与无监督领域自适应相结合的自知识蒸馏
Combining inherent knowledge of vision-language models with unsupervised
domain adaptation through self-knowledge distillation
TL;DR无监督领域自适应(UDA)通过利用标记的源数据集并将其知识转移到相似但不同的目标数据集，克服了标记数据的繁琐工作。本文结合UDA获得的知识与视觉-语言模型的内在知识。通过视觉-语言模型生成源数据集和目标数据集的零样本预测，调整分布以凸显获胜概率，同时使用源数据和目标数据以保持相对置信度。我们通过传统的领域自适应方法和自知识蒸馏法结合实现对源数据集的知识获取，并将该方法与一种渐进源域扩展策略(GSDE)相结合，结果表明零样本预测也有益处。我们在三个基准测试集(OfficeHome、VisDA和DomainNet)上进行实验和消融研究，超过了最先进的方法，并在消融研究中展示了我们算法不同部分的贡献。