具备提示微调的领域感知检测头
通过引入低成本提示调整范式来学习特定领域视觉提示,我们提出了一种新颖且模型无关的领域感知提示学习(DAP)框架,以在 VLN 任务中为预训练模型提供特定对象级和场景级跨模态对齐,并将领域内视觉知识以高效的方式注入预训练模型的视觉编码器。在 R2R 和 REVERIE 上的实验结果显示,DAP 相比现有的最先进方法具有明显的优势。
Nov, 2023
提出了一种具有双向注意力对抗网络和域混合模块 (DomMix) 的无监督域自适应目标检测方法,以缓解大规模领域变化时单向域转移的缺点,并在多个基准数据集上进行了广泛的实验,证明了该方法的优越性。
Jul, 2024
本文提出了一种新颖的无监督领域自适应学习范式 —— 通过提示学习的领域自适应 (DAPL),通过嵌入域信息和利用预训练的视觉 - 语言模型进行分类,此方法在多个领域的基准测试数据上表现优异,并且训练效率高、易于实现。
Feb, 2022
本文提出了一种名为 TRKP 的方法,采用教师 - 学生框架,构建多头教师网络来从标记的源域中提取知识并指导学生网络在未标记的目标域中学习探测器,解决了多源领域适应这一泛化性任务的问题。实验结果表明,该方法有效降低了目标域的领域偏移,提高了检测准确率。
Apr, 2022
利用大规模预训练视觉 - 语言模型的知识进行领域不可知的相互提示,通过互相对齐视觉和文本嵌入来利用领域不变的语义,并通过语义一致性损失和实例差异对齐损失进行规则化,实验证明 Domain-Agnostic Mutual Prompting(DAMP)相较于现有方法在三个无监督领域自适应基准上具有优势。
Mar, 2024
提出了基于蒸馏的无偏对齐 (Distillation-based Unbiased Alignment, DUA) 框架及目标相关对象定位网络 (Target-Relevant Object Localization Network, TROLN),解决了领域自适应目标检测中源偏差和领域转移问题,通过蒸馏方式调整源特征位置,利用目标相关知识生成无需分类的两个度量指标 (IoU 和 centerness),并采用领域感知的一致性增强策略 (DCE) 进一步改善分类一致性和定位准确性,在跨领域情景中显著提升性能,超过已有基于对齐的方法。
Nov, 2023
本研究提出一种面向带有噪声注释的领域自适应目标检测(DAOD)的框架,包括潜在实例挖掘、可变形图关系模块和熵感知梯度协调等关键技术,将语义信息纳入学习过程,取得了不错的实验成果。
Apr, 2022
在无监督领域自适应中,通过基于提示学习的方法,使用大规模预训练的视觉 - 语言模型来学习领域不变和领域特定的特征,并将领域无关的约束转化为优化问题,通过梯度对齐和梯度范数惩罚来实现不同领域的一致性,从而在单源和多源无监督领域自适应任务中取得了优异的实验结果。
Jun, 2024
在本文中,我们首先实验性地证明了无监督训练的视觉语言模型可以显著减少源域和目标域之间的分布差异,从而改善无监督域自适应的性能。然而,直接在下游无监督域自适应任务中部署这些模型的一个重要挑战是及时的工程技术,需要对源域和目标域的领域知识进行对齐,因为无监督域自适应的性能受到良好的领域不变表示的严重影响。我们进一步提出了一种基于提示的分布对齐方法(PDA),将领域知识融入到提示学习中。具体而言,PDA 采用了两支分支的提示调试范例,即基础分支和对齐分支。基础分支专注于将与类相关的表示集成到提示中,确保在不同类别之间进行区分。为了进一步减小领域差异,我们为源域和目标域构建特征库,并提出了图像引导特征调试(IFT)来使输入关注特征库,从而有效地将自我增强和跨域特征集成到模型中。通过这种方式,这两个分支可以相互促进,增强 VLM 在无监督域自适应中的适应性。我们在三个基准测试上进行了大量实验,证明了我们提出的 PDA 方法达到了最先进的性能。
Dec, 2023