通用域自适应的子公司原型对齐
本研究通过引入DomaIn Alignment Layers方法解决领域适应中的特征分布偏移问题,从而提高视觉识别系统在不同领域数据集上的成功率,并在三个公开基准测试中取得了成功的实验结果。
Feb, 2017
该研究主要关注于在无监督领域适应中如何在全局分布对齐的同时同时考虑不同域的类信息,为了更 comprehensively 的进行对齐,提出了基于 Self-similarity Consistency 的新的域差异度量方法,同时加入了特征规范的限制以使得在适应时不要求严格对齐,提高了适应性能。
Apr, 2019
本研究提出了牵扯到无监督领域自适应的条件对抗训练算法。实验证明基于我们提出的规范化输出的条件方法能够成功地将多模态结构进行对齐,甚至能够超越现有的领域对抗训练方法。同时,将基于原型的条件与规范化输出结合使用可以显著改善适应性性能。
Mar, 2020
本文提出了一种端到端的Prototypical Cross-domain Self-Supervised Learning (PCS)框架,通过在共享嵌入空间中编码和对齐语义结构,不仅执行跨域低级特征对齐,而且捕捉数据的类别间语义结构。与最先进的方法相比,PCS在FUDA上在不同域对之间的平均分类精度分别提高了10.5%,3.5%,9.0%和13.2%。
Mar, 2021
提出了一种基于Domain-Oriented Transformer的无监督域自适应方法,通过在不同的领域中聚焦于不同的特征空间进行特征对齐,并为每个领域创建一个特定的面向域的分类器,该方法在多个基准测试中取得了最先进的效果。
Aug, 2022
基于基础模型(如CLIP或DINOv2),本文通过全面实证研究最新的通用域自适应方法,发现现有方法往往无法超越基准线表现;作者提出了一种简单的基于目标数据提炼的方法,并在所有通用分类率基准测试中实现了一致的改进,提出了新的评价指标UCR来解决使用现有的H-score度量时遇到的阈值敏感问题。
May, 2023
部署机器学习系统到未知领域时,需要它们能够有效利用先前的知识,同时对异常输入发出警报。本文提出了一个全面的自然语言基准,以验证模型的普适性和鲁棒性,并观察到原本设计用于图像输入的UniDA方法可以有效地迁移到自然语言领域,并强调了适应难度对模型性能的影响。
Oct, 2023
在本文中,我们首先实验性地证明了无监督训练的视觉语言模型可以显著减少源域和目标域之间的分布差异,从而改善无监督域自适应的性能。然而,直接在下游无监督域自适应任务中部署这些模型的一个重要挑战是及时的工程技术,需要对源域和目标域的领域知识进行对齐,因为无监督域自适应的性能受到良好的领域不变表示的严重影响。我们进一步提出了一种基于提示的分布对齐方法(PDA),将领域知识融入到提示学习中。具体而言,PDA采用了两支分支的提示调试范例,即基础分支和对齐分支。基础分支专注于将与类相关的表示集成到提示中,确保在不同类别之间进行区分。为了进一步减小领域差异,我们为源域和目标域构建特征库,并提出了图像引导特征调试(IFT)来使输入关注特征库,从而有效地将自我增强和跨域特征集成到模型中。通过这种方式,这两个分支可以相互促进,增强VLM在无监督域自适应中的适应性。我们在三个基准测试上进行了大量实验,证明了我们提出的PDA方法达到了最先进的性能。
Dec, 2023
本研究解决了视觉语言模型在无监督领域适应中的挑战,尤其是在缺乏标签数据时的适应性。提出的双原型对齐(DPA)方法通过引入双原型的概念,构建准确的伪标签,进而通过对伪标签的排名促进稳健的自我训练,从而显著提高了模型的适应性能。实验结果表明,DPA在13个下游视觉任务上显著优于零-shot CLIP及最新的无监督适应基线。
Aug, 2024