KL 导向领域适应

ICLRJun, 2021

KL Guided Domain Adaptation

A. Tuan Nguyen, Toan Tran, Yarin Gal, Philip H. S. Torr, Atılım Güneş Baydin

TL;DR本文研究了领域自适应中的输入表示对齐问题，提出了一种基于最小化源域和目标域表示分布之间的反向 Kullback-Leibler 差距的方法，利用概率表示网络实现了高效稳定的对齐方法，实验结果表明其优于其他对齐方法。

Abstract

domain adaptation is an important problem and often needed for real-world applications. In this problem, instead of i.i.d. training and testing datapoints, we assume that the source (training) data and the target (testing) data have different distributions. With that setting, the empir

domain adaptation distribution change representation alignment reverse kullback-leibler divergence probabilistic representation network

发现论文，激发创造

迁移学习的信息论分析

本文研究了迁移学习中的广义化误差和 excess risk 问题，提出了一种信息论分析方法。结果表明 Kullback-Leibler divergence 在特定环境中能很好地描述广义化误差，我们还将结果推广到一种特定的经验风险最小化算法中。同时，该方法在迭代，噪声梯度下降算法中有潜在的应用。

May, 2020

领域自适应：学习界限和算法

本文介绍了一种针对域自适应问题的新型分布距离度量 —— 偏差距离，并给出了不同损失函数的估计方法以及普遍推广界限。同时，本文也探讨了偏差距离减少和多种损失函数的最小化算法，并验证了其在不同应用场景的有效性。

Feb, 2009

通过分布匹配进行到未见过的领域的泛化

本文探讨监督学习中数据导致的实际问题，着重于领域泛化研究，提出最小化给定领域对之间差异的方法，并在 EEG 数据集中验证了该策略。

Nov, 2019

非对称松弛分布对齐的域自适应

本文提出了一种非对称松弛分布对齐的方法来解决领域适应中标签分布偏移问题，并找到了合理的理论假设条件来支撑该方法，证明了该方法在合成和真实数据集上的实际效果。

Mar, 2019

非监督式视觉领域自适应：一种深度最大边际高斯过程方法

采用高斯过程的方式进行大间隔后验分离问题的非监督领域适应研究。

Feb, 2019

知识适应：教授如何适应

本研究提出一种基于知识蒸馏的领域自适应技术，针对多源无监督情感分析数据集，在考虑多个教师及其领域专业性的基础上，实现了最优结果，并提出一种可信度度量方法，用于选择高置信度示例及解决单一源情况下的领域适应问题。

Feb, 2017

领域自适应的泛化界限

本文提出了一种新的框架，通过应用获得的领域自适应学习过程的泛化界，分析了学习过程的渐近收敛。为了测量两个领域之间的差异，使用积分概率度量。通过不同的不等式和复杂度测量，证明了领域自适性学习的一些性质，并用数值实验验证了理论结果的正确性。

Apr, 2013

学习不变表示以进行领域自适应

本文针对无监督域适应学习中常见的假设提出了简单反例，证明了这些假设并不足以保证域适应的成功；提出了一种基于信息理论的弱化条件，并证明了任何试图学习不变表示的域适应方法的联合误差都存在一种基本的权衡；最后，通过实验验证了理论结果。

Jan, 2019

f 域对抗学习：理论与算法

本文提出了一种新的通用领域敌对框架，利用变分 f - 分歧的特征进行领域自适应。基于此框架，推导出了具有重要修正的新算法框架，并证明了其在自然语言和计算机视觉数据集上优于现有的基线结果。

Jun, 2021

针对领域特定风险的最小化以实现超出分布的泛化

本文提出了基于领域特定风险最小化（DRM）的方法，旨在通过利用源域信息和适应性差的估计和最小化来弥合领域间差异以实现领域通用性，并在不同分布漂移设置下显着优于竞争基准。

Aug, 2022