PAC-Bayes 界的用户友好型介绍
该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法,同时研究了使用数据相关先验分布的应用,包括针对无界方差的损失函数的一种新颖的边界推导方法。
Jun, 2020
本文研究了聚合理论中的统计学设置,并通过用较小的局部复杂度替换全局复杂度来加强经典聚合理论的结果,包括基于 Leung 和 Barron 的指数权重估计器的局部经典简单限制,并针对 Q - 聚合估计器提出了偏差最优限制。
Jun, 2023
该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界,其中关键步骤是考虑一系列常用的分布:Gibbs 分布。该边界在概率上同时适用于假设和学习样本,允许复杂度根据泛化差距进行调整,以适应假设类和任务。
Feb, 2024
我们从 PAC-Bayesian 的角度提出了数据相关的均匀泛化界,通过将训练算法输出的数据相关假设集应用于随机集的严格方法,我们证明了数据相关的界,适用于多种情境,并将此方法应用于基于分形维度的泛化界和连续 Langevin 动力学以及随机梯度 Langevin 动力学的轨迹上,这些结果为噪声算法的泛化特性提供了新的信息。
Apr, 2024
这篇论文简要介绍了现有的 PAC-Bayesian 理论,重点关注三种泛化界限及其应用,可以有效地处理规则参数及提供训练保障。
Jul, 2013
该论文提出了一种新的高概率 PAC-Bayes 界限,其中涉及到了带界范围和更一般尾部行为的损失,并提出了一些新的基于参数和基于事件的界限技术,可以得到更紧密和可解释的结果,并将结果扩展到任何现有范围上
Jun, 2023
该研究旨在提供信息论概括界限及其与 PAC-Bayes 的关联的全面介绍,为最近的发展提供基础,广泛面向对概括和理论机器学习感兴趣的研究人员。
Sep, 2023
我们提出了一种在联邦学习中训练随机预测器的新策略,其中网络的每个节点通过发布本地预测器并保密其训练数据集来保护隐私。我们构建了一个全局随机预测器,它在 PAC-Bayesian 广义界限的意义下继承了本地私有预测器的属性。我们考虑同步情况,所有节点共享相同的训练目标(来自广义界限)以及异步情况,每个节点可以拥有自己的个性化训练目标。通过一系列的数值实验,我们证明了我们的方法在预测性能方面与批处理方法相当,并且在保护每个节点隐私的同时具有数值上实质性的广义界限。我们明确计算了批处理和联邦学习设置之间的预测性能和广义界限的增量,突出了保护隐私的代价。
Oct, 2023
研究 PAC-Bayesian 领域适应的问题:从源域学习一个专门针对目标域的多数表决模型。通过导出目标风险的上限,我们提供了一个新视角来控制误差度量和投票者不一致之间的权衡。我们根据这个结果推导了一个 PAC-Bayesian 的广义上限,并将其特化到线性分类器。最后,在实际数据上进行了实验。
Jun, 2015