鲁棒领域自适应：表示、权重和归纳偏差

KDDJun, 2020

鲁棒领域自适应：表示、权重和归纳偏差

Robust Domain Adaptation: Representations, Weights and Inductive Bias

Victor Bouvier, Philippe Very, Clément Chastagnol, Myriam Tami, Céline Hudelot

TL;DR本文研究在无监督领域适应中，加权样本的重要性抽样策略与不变表征相互作用的理论方面，并提出了一种改进的学习算法，旨在加强归纳偏差，减轻适应过程中可能存在的标签偏移问题。

Abstract

unsupervised domain adaptation (UDA) has attracted a lot of attention in the last ten years. The emergence of domain invariant representations (IR) has improved drastically the transferability of representations

unsupervised domain adaptation domain invariant representations label shift importance sampling inductive bias

发现论文，激发创造

无监督领域自适应对抗鲁棒性

本文提出一种通过利用 ImageNet 预训练模型中的中间表示，使得源域与目标域学习到的特征分布更加接近，从而提高无监督域适应模型在未标记数据上的对抗鲁棒性，不需要对抗干预或标签要求。

Sep, 2021

学习不变表示以进行领域自适应

本文针对无监督域适应学习中常见的假设提出了简单反例，证明了这些假设并不足以保证域适应的成功；提出了一种基于信息理论的弱化条件，并证明了任何试图学习不变表示的域适应方法的联合误差都存在一种基本的权衡；最后，通过实验验证了理论结果。

Jan, 2019

简化版神经网络无监督域自适应

本文研究了无监督领域自适应的方法，使用神经网络学习表示来预测重要特征的子集，并探讨了联合训练表示和任务学习者、现有枢轴选择方法的重要性。

May, 2019

使用紧凑的内部表示进行无监督领域适应

通过将源领域和目标领域的数据点映射到共享嵌入空间中，训练映射编码器使嵌入空间变得与领域无关，从而使在源领域上训练的分类器能够在目标领域上很好地泛化。为了进一步提高无监督领域适应 (UDA) 的性能，我们提出了一种降低源领域内部分布紧密度的技术，从而提高模型在目标领域中的泛化能力。相对于嵌入空间中不同类别的数据表示之间的间隔，我们提高了 UDA 模型的性能。为了使内部表示更紧密，我们将源领域的内部学习多模态分布估计为高斯混合模型 (GMM)。利用估计的 GMM，我们增强了源领域中不同类别之间的分离性，从而减轻了领域转移的影响。我们提供了理论分析来支持我们的方法的优越性能。为了评估我们方法的有效性，我们在广泛使用的 UDA 基准数据集上进行了实证实验。结果表明我们的方法增强了模型的泛化能力，并超越了现有技术。

Jan, 2024

朝着可靠的无监督领域适应：增强鲁棒性、区分性和泛化性的表示学习视角

通过互信息优化，本文从表示学习的角度研究鲁棒的无监督领域自适应，并设计了一种利用互信息理论的新算法，名为 MIRoUDA，以实现鲁棒性、区分性和泛化性等三个期望特性，同时提出了相应的双模型框架，大量实验结果表明我们的方法在各项评测中都明显优于现有技术。

Jun, 2024

深度无监督域自适应：近期进展和展望综述

深度学习在许多领域都展现出其超凡表现，但仅仅依靠大量标记数据来训练模型并不能保证其在面临目标域的分布变化时仍有出色的表现，无监督域自适应通过利用源领域标记数据和目标领域未标记数据来解决该问题，并已在自然图像处理、自然语言处理等领域取得了许多令人期待的结果，该文对该领域的方法和应用进行了系统比较，并强调了当前方法的不足及未来研究方向。

Aug, 2022

FixBi: 跨领域空间的无监督领域自适应

介绍了一种针对领域差异性大的无监督域自适应方法，包括使用固定比例的混合增强多个中间域，训练源主导模型和目标主导模型，使用置信度学习方法逐渐实现领域知识的转移。

Nov, 2020

启发式域自适应

本文提出了一种基于启发式搜索的领域不变和领域特定信息建模方法 —— 启发式领域自适应 (HDA)，并通过导出启发式表示约束，提出了一种启发式领域自适应网络 (HDAN)。实验证明，该方法在无监督 DA、多源 DA 和半监督 DA 等任务上均超过了现有最先进方法。

Nov, 2020

基于实例加权的无监督领域自适应的统一框架

针对无监督域自适应问题中由领域间标签偏移引起的复杂条件下的普遍方法，我们全面研究了四种不同的无监督域自适应设置，包括闭集域自适应、部分域自适应、开放集域自适应和通用域自适应，其中来源域和目标域之间存在共同类别和特定类别。基于共同类别的实例概率，我们提出了一种名为无监督域自适应学习实例加权（LIWUDA）的新方法，通过构建加权网络、设计权重最优传输（WOT）和小批量实例的分隔与对齐（SA）丢失来解决这些挑战。通过实验评估，验证了提出的 LIWUDA 方法的有效性。

Dec, 2023

域不变表示中的支持和可逆性

研究表明，学习领域不变表示已成为非监督领域适应的一种流行方法，但其局限性主要在于非反演变换中丢失的信息以及领域不变性是一个过于严格的要求，本研究提出了一种权衡代价的一般化界限，并建议使用测量源域覆盖目标域范围的范围来提高性能。

Mar, 2019