指数加权聚合、尖锐的 PAC-Bayesian 界限与稀疏性
利用指数权重实现稀疏模式聚合原则的模型选择取决于稀疏估计,产生了几个流行框架下的稀疏估计值的稀疏 oracle 不等式,并在给定字典的情况下找到一个功能的稀疏表示。此外,本文介绍了一种高效实现稀疏模式聚合原则的方法,并在基本数值示例上优于最先进的程序。
Aug, 2011
本文研究了聚合理论中的统计学设置,并通过用较小的局部复杂度替换全局复杂度来加强经典聚合理论的结果,包括基于 Leung 和 Barron 的指数权重估计器的局部经典简单限制,并针对 Q - 聚合估计器提出了偏差最优限制。
Jun, 2023
采用指数权重的综合方法,在边际假设下,对于铰链风险(hinge risk),获得了凸聚合的最优速率。 此外,在边际假设下,对于超额贝叶斯风险,获得了模型选择聚合的最优速率。
Mar, 2006
本篇研究文章探讨了针对各种概率模型使用 Kullback-Leibler 距离的模型选择类型聚合问题。文章提出了两种聚合方法,并使用惩罚极大似然准则选择聚合权重,给出了高概率的锐利的神谕不等式和相应的下界结果。
Jan, 2016
本文介绍了在确定性设计下,回归设置中的简单聚合问题,并将其从高斯分布扩展到指数族分布。通过约束和 / 或罚分最大化方法解决此问题并导出了能够在期望和高概率情况下保持的谐振不等式。最后,证明了所有边界在最小化意义上都是最优的。
Nov, 2009
该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法,同时研究了使用数据相关先验分布的应用,包括针对无界方差的损失函数的一种新颖的边界推导方法。
Jun, 2020
研究高维加法模型下稀疏假设的估计和预测,探讨了一种基于 PAC-Bayesian 策略的实现方式,并通过高维 MCMC 算法的最新成果进行评估,最终在模拟数据上取得了良好的性能。
Aug, 2012
在本文中,我们通过考虑错误指数这一在信息理论中广泛应用的分析方法,研究了统计学习理论和可能近似正确(PAC)准则。在一定的稳定性假设下,我们发现二分类问题中 PAC 错误概率的指数行为,从而建立了对无知学习中可能近似正确学习的理论分析基础。有趣的是,在这些假设下,无知学习可能具有与可实现学习相同的错误指数。此错误指数准则可用于分析在缺少理论分析的知识蒸馏问题。
May, 2024
本文研究了密度估计器线性和凸聚合的问题,并提供相应的程序及其风险的奥卡尔不等式,以及相似核函数的线性和凸聚合方案可在 Sobolev 密度族中进行一致最优的最小化。
May, 2006
通过指数不等式的方法,我们研究了随机学习算法的泛化误差的界限和概率分布,针对亚高斯损失函数提供了以训练数据和输出假设之间信息密度为依据的新的界限,并将该方法扩展到了基于随机选择训练数据子集的情况。
May, 2020