基于柯西 - 施瓦茨散度的领域自适应

May, 2024

基于柯西 - 施瓦茨散度的领域自适应

Domain Adaptation with Cauchy-Schwarz Divergence

Wenzhe Yin, Shujian Yu, Yicong Lin, Jie Liu, Jan-Jakob Sonke...

TL;DR无监督领域适应问题中，为了准确评估边际和条件分布的差异，我们引入了柯西 - 斯瓦兹散度，该散度相比于常用的库尔巴克 - 莱布勒散度提供了更严密的理论广义误差界限，并能方便地用于源领域和目标领域在表示空间中的边际和条件分布差异的估计，而无需任何分布假设。多个示例验证了柯西 - 斯瓦兹散度在基于距离度量或对抗训练的无监督领域适应框架中的出色性能。

Abstract

domain adaptation aims to use training data from one or multiple source domains to learn a hypothesis that can be generalized to a different, but related, target domain. As such, having a reliable measure for evaluating the discrepancy of both marginal and conditional distributions is

domain adaptation cauchy-schwarz divergence unsupervised domain adaptation generalization error discrepancy estimation

发现论文，激发创造

基于 f - 分歧准则的领域自适应：一个改进的框架

我们改进了 Acuna 等人提出的无监督领域自适应（UDA）的理论基础，通过改进他们基于 f - 差异度的不一致性，并引入一个新的度量，即 f - 域差异度（f-DD）。通过去除绝对值函数并结合一个缩放参数，f-DD 产生了新的目标误差和样本复杂度界限，使我们能够恢复先前基于 KL 的结果，并弥合了 Acuna 等人（2021）提出的算法与理论之间的差距。利用一种定位技术，我们还开发了一个快速学习界限。实证结果表明，在流行的 UDA 基准测试中，基于 f-DD 的领域学习算法比以前的工作表现更优秀。

Feb, 2024

跨域梯度差异最小化用于无监督域自适应

本文提出了一种跨域梯度分歧最小化方法，使用聚类自监督学习获得目标伪标签，显式地最小化源样本和目标样本生成的梯度差异，以提高目标样本的准确性，实验证明该方法优于许多先前的最新技术

Jun, 2021

KL 导向领域适应

本文研究了领域自适应中的输入表示对齐问题，提出了一种基于最小化源域和目标域表示分布之间的反向 Kullback-Leibler 差距的方法，利用概率表示网络实现了高效稳定的对齐方法，实验结果表明其优于其他对齐方法。

Jun, 2021

无监督多类域自适应：理论、算法和实践

本文介绍了一种基于 MCSD 的多类域间自适应的学习方法 (Multi-class Domain-adversarial learning Networks （McDalNets）), 通过使用数据相关的 PAC 常数，研究了其有效性，并引入了结合了领域混淆和歧视的新型敌对策略的域对称网络（SymmNets）来提高多类域间自适应性能。

Feb, 2020

基于黑盒源模型的分割无监督领域自适应

本文提出了一种基于黑盒分割模型的无监督域自适应解决方案，利用指数混合衰减的知识蒸馏方案逐步学习目标特定表示，并应用无监督熵最小化来规范目标域置信度，最终在 BraTS 2018 数据库上取得了与白盒源模型适应方法相当的性能。

Aug, 2022

跨域对比学习用于无监督域自适应

该论文提出了一种在无监督领域适应的情况下，采用自我监督学习的对比方法以减少培训和测试集之间的领域差异，实现了简单而有效的领域对齐框架 CDCL，并使用伪标签进行评估，这种方法可以应用于无需数据源的情况并在图像分类方面取得了最先进的性能。

Jun, 2021

通过校准不确定性进行无监督领域自适应

本文提出了一种基于源域推广到目标域的无监督领域适应方法，该方法通过校准源域和目标域的预测不确定性（以 Renyi 熵度量）来实现，使用变分贝叶斯学习可靠的不确定性估计，并讨论了其理论性质并在实验中验证了其有效性。

Jul, 2019

f 域对抗学习：理论与算法

本文提出了一种新的通用领域敌对框架，利用变分 f - 分歧的特征进行领域自适应。基于此框架，推导出了具有重要修正的新算法框架，并证明了其在自然语言和计算机视觉数据集上优于现有的基线结果。

Jun, 2021

基于源导向差异的无监督领域自适应

我们提出了一种新的度量源域和目标域之间差异的度量器称为 S-disc，利用源域标签计算效率和计算误差均有所提升，可用于比现有方法更紧密的推广误差界和提供更好的实验结果。

Sep, 2018

领域混淆对比学习用于无监督领域自适应

本文介绍了一种自主学习方法的无监督域自适应技术，即 Domain Confused Contrastive Learning（DCCL），旨在通过域拼图来构建源域和目标域之间的桥梁，并在适应后保留有区分性的表示。此外，作者还探讨了在进行其他数据增强时，对比学习是否有助于 UDA。实验表明，DCCL 的表现显著优于基线。

Jul, 2022