NIPSJan, 2015

PAC-Bayesian 环境下域适应界限的改进

PDF
TL;DR本文基于 PAC-Bayesian 理论对领域自适应进行了理论分析，提出了 Germain et al. 等人之前领域适应界限的改进方法，首先给出了另一个更紧密且易于解释的泛化界限，此外，还为界限中出现的常数项提供了新的分析，这对于开发新的算法解决方案非常有趣。
domain adaptationpac-bayesian theorygeneralization boundconstant termalgorithmic solutions
发现论文，激发创造
  • 多视角学习的 PAC-Bayesian 领域自适应边界

    该论文在多视角学习环境中提出了一系列关于域适应的新结果，通过 Pac-Bayesian 理论分析泛化边界，结合了之前将多视角整合到域适应中所忽视的两种范式，并构建了一种适用于多视角域适应的新型距离，最后将新边界与之前的研究进行了对比。

    Jan, 2024

  • 领域自适应的新 PAC-Bayesian 视角

    研究 PAC-Bayesian 领域适应的问题：从源域学习一个专门针对目标域的多数表决模型。通过导出目标风险的上限，我们提供了一个新视角来控制误差度量和投票者不一致之间的权衡。我们根据这个结果推导了一个 PAC-Bayesian 的广义上限，并将其特化到线性分类器。最后，在实际数据上进行了实验。

    Jun, 2015

  • 带特化线性分类器的领域适应的 PAC-Bayesian 定理

    本文在 PAC-Bayesian 理论中提供了两个主要方面的贡献，分别是基于新的分布伪距离提供一个更紧的 PAC-Bayesian 领域适应性边缘；另外实现了对多源领域适应性的推广。

    Mar, 2015

  • 领域自适应的泛化界限

    本文提出了一种新的框架，通过应用获得的领域自适应学习过程的泛化界，分析了学习过程的渐近收敛。为了测量两个领域之间的差异，使用积分概率度量。通过不同的不等式和复杂度测量，证明了领域自适性学习的一些性质，并用数值实验验证了理论结果的正确性。

    Apr, 2013

  • 基于随机集的 PAC-Bayesian 理论对数据依赖假设集的统一泛化界限

    我们从 PAC-Bayesian 的角度提出了数据相关的均匀泛化界，通过将训练算法输出的数据相关假设集应用于随机集的严格方法，我们证明了数据相关的界，适用于多种情境，并将此方法应用于基于分形维度的泛化界和连续 Langevin 动力学以及随机梯度 Langevin 动力学的轨迹上，这些结果为噪声算法的泛化特性提供了新的信息。

    Apr, 2024

  • 利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

    该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

    Feb, 2024

  • 协变量转移下的 PAC 学习保证

    本文探讨了领域自适应问题，证明了只要在一些条件下，任何 PAC 可学习的概念类都可以在协变量转移条件下进行 PAC 学习，同时提出了拒绝取样算法的界限并证明其是某些情况下领域自适应问题的解决方案。

    Dec, 2018

  • 基于图模型的领域适应问题推断

    本文基于数据驱动的无监督域适应，提出使用图形模型作为联合分布变化特征的紧凑表示，并将域适应视为贝叶斯推理问题，区分分布的常变模块并指定跨域之间的变化属性，进而为推导目标变量 $Y$ 的后验分布提供 先验知识，该框架证明适用于合成和真实数据的实验结果。

    Feb, 2020

  • 广义界限：信息论和 PAC-Bayes 的视角

    该研究旨在提供信息论概括界限及其与 PAC-Bayes 的关联的全面介绍，为最近的发展提供基础，广泛面向对概括和理论机器学习感兴趣的研究人员。

    Sep, 2023

  • PAC-Bayes 分析超越平常的边界

    该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

    Jun, 2020