使用von Neumann条件散度进行转移学习
本文在探讨域自适应的过程中,提出了一种使用Wasserstein度量作为两个数据集分布差异度量的方法,并且通过对多个不同的学习场景的实验证明了这种方法的通用性,同时进一步探讨了这种方法可能比其他现有框架更紧密的原因。
Oct, 2016
本文提出了一种学习方案,用于构建希尔伯特空间,以解决无监督和半监督领域自适应问题,并通过学习每个领域到潜在空间的投影来实现,同时最小化领域方差的概念,同时最大化区分力的测量。我们利用黎曼优化技术在不同领域中进行潜在空间中的样本之间的统计属性匹配。我们进一步认为共享相同标签的样本形成更紧凑的聚类,同时拉开来自不同类别的样本。我们针对手工制作和深度网络功能使用我们的提案进行全面评估和对比,并在视觉领域自适应任务中展示了我们的实验,即使是用简单的最近邻分类器,这种方法也可以胜过几种最先进的方法。
Nov, 2016
本文针对无监督域适应学习中常见的假设提出了简单反例,证明了这些假设并不足以保证域适应的成功;提出了一种基于信息理论的弱化条件,并证明了任何试图学习不变表示的域适应方法的联合误差都存在一种基本的权衡;最后,通过实验验证了理论结果。
Jan, 2019
本文研究了迁移学习中的广义化误差和 excess risk 问题,提出了一种信息论分析方法。结果表明 Kullback-Leibler divergence 在特定环境中能很好地描述广义化误差,我们还将结果推广到一种特定的经验风险最小化算法中。同时,该方法在迭代,噪声梯度下降算法中有潜在的应用。
May, 2020
本论文提出了一种用于半监督域适应的算法LIRR,它能同时学习不变的表示和风险,并将特征空间中的边缘和条件分布对齐,实现了目标泛化能力的有意义提高。该算法在分类和回归任务上实现了最先进的性能和显著的改进。
Oct, 2020
本研究通过定义和计算可量化的可迁移性来研究这种特征,在领域泛化中,我们将其与诸如总变化和Wasserstein距离之类的区别和联系,发现现有算法中很少具有可迁移性,随后提出了一种新的算法,以测试各种基准数据集,并在其中实现了持续的改进。
Jun, 2021
本研究探讨了多源领域自适应和领域泛化设置中的目标通用损失的上界和两种领域不变表示的定义,并研究了强制学习每个领域不变表示的优缺点和权衡,并通过实验来检查这些表示的权衡,探索了我们所开发的理论的其他有趣特性。
Nov, 2021
本文提出了一种基于最优传输的领域适应方法,使用仿射映射的封闭形式解决方案,并学习一个嵌入空间,使得该解决方案是最优且计算复杂性较低的。我们证明了该方法在同质和异质适应设置中均有效,并且优于或与其他基于传统OT和不可比空间的著名基线相当。此外,我们展示了我们的方法大大降低了计算复杂性。
May, 2023
无监督领域适应问题中,为了准确评估边际和条件分布的差异,我们引入了柯西-斯瓦兹散度,该散度相比于常用的库尔巴克-莱布勒散度提供了更严密的理论广义误差界限,并能方便地用于源领域和目标领域在表示空间中的边际和条件分布差异的估计,而无需任何分布假设。多个示例验证了柯西-斯瓦兹散度在基于距离度量或对抗训练的无监督领域适应框架中的出色性能。
May, 2024