鲁棒领域自适应:表示、权重和归纳偏差
本文针对无监督域适应学习中常见的假设提出了简单反例,证明了这些假设并不足以保证域适应的成功;提出了一种基于信息理论的弱化条件,并证明了任何试图学习不变表示的域适应方法的联合误差都存在一种基本的权衡;最后,通过实验验证了理论结果。
Jan, 2019
本论文提出了一种用于半监督域适应的算法LIRR,它能同时学习不变的表示和风险,并将特征空间中的边缘和条件分布对齐,实现了目标泛化能力的有意义提高。该算法在分类和回归任务上实现了最先进的性能和显著的改进。
Oct, 2020
该论文提出了一个新的处理从共变量和标签中引入偏差的方法(Factorizable Joint Shift, FJS),并提出了一种新的联合重要性对齐(Joint Importance Aligning, JIA)的方法来获得用于监督和无监督领域适应的联合重要性估计器及其训练数据的加权。
Mar, 2022
本文针对无监督域适应问题,提出了一种基于对比度预训练的分类器学习方法,该方法可以学习到跨领域的分类特征而无需在领域间建立不变特征映射,并在基准视觉数据集上获得了验证。
Apr, 2022
本文提出一种基于知识引导的无监督领域自适应(KUDA)方法,通过利用目标域的先验知识,将该先验知识应用于模型生成伪标签的改进中,从而提高自训练阶段的性能。
Jul, 2022
提出了一种基于Domain-Oriented Transformer的无监督域自适应方法,通过在不同的领域中聚焦于不同的特征空间进行特征对齐,并为每个领域创建一个特定的面向域的分类器,该方法在多个基准测试中取得了最先进的效果。
Aug, 2022
本文介绍了一种名为CASA的方法,使用条件对抗支持对齐来最小化源域和目标域的特征表示分布之间的条件对称支持差异,以提供更好的分类模型,同时提出了一种新的理论目标风险界来证明对比于现有的边缘支持对齐方法,对齐有条件的特征分布的支持更加优秀。实验结果表明CASA在不同的无监督域适配基准任务中的性能优于其他先进方法。
May, 2023
本文提出了一种称为Transfer Score的度量标准,它通过评估分类器的空间均匀性、特征空间的传递性和区分度,实现了无监督评估域自适应模型的功能,并在公共数据集上进行了广泛的实证研究,证明了Transfer Score度量标准在评估和提高自适应技术整体效果方面的工具性和潜力。
May, 2023
通过提出不变的一致性学习 (ICON) 方法,本研究在领域自适应和无监督领域适应方面取得了最先进的性能,并在具有挑战性的 WILDS 2.0 基准测试上优于传统方法。
Sep, 2023
通过互信息优化,本文从表示学习的角度研究鲁棒的无监督领域自适应,并设计了一种利用互信息理论的新算法,名为MIRoUDA,以实现鲁棒性、区分性和泛化性等三个期望特性,同时提出了相应的双模型框架,大量实验结果表明我们的方法在各项评测中都明显优于现有技术。
Jun, 2024