本文介绍了一种针对域自适应问题的新型分布距离度量——偏差距离,并给出了不同损失函数的估计方法以及普遍推广界限。同时,本文也探讨了偏差距离减少和多种损失函数的最小化算法,并验证了其在不同应用场景的有效性。
Feb, 2009
本文提出了一种新的框架,通过应用获得的领域自适应学习过程的泛化界,分析了学习过程的渐近收敛。为了测量两个领域之间的差异,使用积分概率度量。通过不同的不等式和复杂度测量,证明了领域自适性学习的一些性质,并用数值实验验证了理论结果的正确性。
Apr, 2013
本文在PAC-Bayesian理论中提供了两个主要方面的贡献,分别是基于新的分布伪距离提供一个更紧的PAC-Bayesian领域适应性边缘;另外实现了对多源领域适应性的推广。
Mar, 2015
研究PAC-Bayesian领域适应的问题:从源域学习一个专门针对目标域的多数表决模型。通过导出目标风险的上限,我们提供了一个新视角来控制误差度量和投票者不一致之间的权衡。我们根据这个结果推导了一个PAC-Bayesian的广义上限,并将其特化到线性分类器。最后,在实际数据上进行了实验。
Jun, 2015
本文探讨了领域自适应问题,证明了只要在一些条件下,任何PAC可学习的概念类都可以在协变量转移条件下进行PAC学习,同时提出了拒绝取样算法的界限并证明其是某些情况下领域自适应问题的解决方案。
Dec, 2018
本文基于数据驱动的无监督域适应,提出使用图形模型作为联合分布变化特征的紧凑表示,并将域适应视为贝叶斯推理问题,区分分布的常变模块并指定跨域之间的变化属性,进而为推导目标变量 $Y$ 的后验分布提供 先验知识,该框架证明适用于合成和真实数据的实验结果。
Feb, 2020
本文使用信息理论工具来分析无监督域适应(UDA)中的泛化误差。 为两种泛化误差提供新的上界,第一种措施评估目标域和源域的总体风险之间的差距,第二种措施评估目标领域的总体风险和源域的经验风险之间的差距。 本文提出两种简单的技术来改善UDA中的泛化性能,并在实验中验证了这些技术。
Oct, 2022
该论文在多视角学习环境中提出了一系列关于域适应的新结果,通过Pac-Bayesian理论分析泛化边界,结合了之前将多视角整合到域适应中所忽视的两种范式,并构建了一种适用于多视角域适应的新型距离,最后将新边界与之前的研究进行了对比。
Jan, 2024
用PAC-Bayesian理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架,学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能,基于指数族的PAC-Bayesian上界对一般的、可能无界的损失函数提供了可行性,我们通过将学习过程转化为一维最小化问题并研究全局最小值的可能性,提供了一个具体算法实现和学习优化的新方法,并进行了四个实际相关的实验来支持我们的理论,展示出该学习框架使得优化算法的性能有了数个数量级的改进。
Apr, 2024
PAC-Bayesian analysis allows sequential prior updates with no information loss and has significant improvements in empirical evaluation.
May, 2024