本文介绍了一种针对域自适应问题的新型分布距离度量 —— 偏差距离,并给出了不同损失函数的估计方法以及普遍推广界限。同时,本文也探讨了偏差距离减少和多种损失函数的最小化算法,并验证了其在不同应用场景的有效性。
Feb, 2009
本研究探讨了多源领域自适应和领域泛化设置中的目标通用损失的上界和两种领域不变表示的定义,并研究了强制学习每个领域不变表示的优缺点和权衡,并通过实验来检查这些表示的权衡,探索了我们所开发的理论的其他有趣特性。
Nov, 2021
本文研究了领域自适应中的输入表示对齐问题,提出了一种基于最小化源域和目标域表示分布之间的反向 Kullback-Leibler 差距的方法,利用概率表示网络实现了高效稳定的对齐方法,实验结果表明其优于其他对齐方法。
Jun, 2021
本文使用信息理论工具来分析无监督域适应(UDA)中的泛化误差。 为两种泛化误差提供新的上界,第一种措施评估目标域和源域的总体风险之间的差距,第二种措施评估目标领域的总体风险和源域的经验风险之间的差距。 本文提出两种简单的技术来改善 UDA 中的泛化性能,并在实验中验证了这些技术。
Oct, 2022
本文探讨监督学习中数据导致的实际问题,着重于领域泛化研究,提出最小化给定领域对之间差异的方法,并在 EEG 数据集中验证了该策略。
Nov, 2019
该论文综述了迁移学习中的一个具有代表性的子领域 —— 领域自适应,介绍了基于不同统计学习框架的学习界限等方面的理论研究现状。
Apr, 2020
本文基于 PAC-Bayesian 理论对领域自适应进行了理论分析,提出了 Germain et al. 等人之前领域适应界限的改进方法,首先给出了另一个更紧密且易于解释的泛化界限,此外,还为界限中出现的常数项提供了新的分析,这对于开发新的算法解决方案非常有趣。
Jan, 2015
使用信息论工具从表示学习的角度推导了多源域自适应(MDA)的新型分析。具体而言,研究了具有少量目标标签的监督 MDA 和具有伪标签的无监督 MDA 的联合分布对齐,提出了一种隐式处理目标偏移的新型深度 MDA 算法,最后扩展了相互信息边界以提供一种非平凡的梯度范数估计。所提出的算法在目标偏移 MDA 基准测试中具有与最先进技术相当的性能,并具有改进的内存效率。
Apr, 2023
研究 PAC-Bayesian 领域适应的问题:从源域学习一个专门针对目标域的多数表决模型。通过导出目标风险的上限,我们提供了一个新视角来控制误差度量和投票者不一致之间的权衡。我们根据这个结果推导了一个 PAC-Bayesian 的广义上限,并将其特化到线性分类器。最后,在实际数据上进行了实验。
Jun, 2015
本文针对无监督域适应学习中常见的假设提出了简单反例,证明了这些假设并不足以保证域适应的成功;提出了一种基于信息理论的弱化条件,并证明了任何试图学习不变表示的域适应方法的联合误差都存在一种基本的权衡;最后,通过实验验证了理论结果。
Jan, 2019