贝叶斯学习中的最小超额风险
研究使用最小描述长度(MDL)原则基于样本复杂性学习贝叶斯网络,并提出了使用样本复杂性结果加速学习过程的方法,同时表明了以熵距离为误差阈值的epsilon-close近似所需样本数量是O((1/epsilon)^(4/3)log(1/epsilon)log(1/delta)loglog(1/delta))。
Feb, 2013
本文提出了一组用于理解在线和批量学习设置下的分层先验方法的分析工具, 包括对数损失下的后悔界和 Bayesian 风险界,重点研究了学生 t 先验和分层高斯先验,以及特征选择的先验,结果表明在实际问题中使用分层先验的学习论益处往往是很小的。
May, 2015
提出了一种新的学习理论复杂性概念,它在经验风险最小化和贝叶斯估计器的情况下分别以数据无关的Rademacher复杂度和数据相关的信息复杂度进行上限绑定,并通过Rademacher复杂度将其与$L_2(P)$熵进行关联。该研究进一步使用'易于理解'和模型复杂性等相互分离的方法,提供适用于VC和多项式熵类的最优性差距上限。
Oct, 2017
本研究通过对 Gibbs-ERM 学习的实验,得出使用正则化经验风险的 Gibbs-ERM 学习器所遭受的过度风险并受数据生成分布和大假设空间影响的分布依赖上界受有效维度控制,这对于研究技术至关重要。
Feb, 2019
本研究提出了一种多样本损失方法用以改进贝叶斯后验预测分布的泛化性能,该方法不仅具有计算优势还提供了 PAC 泛化保证,实证研究显示该方法可以有效改善预测分布。
Oct, 2020
本文基于(Xu&Raginsky,2020)近期的研究结果对贝叶斯学习中的最小过剩风险进行分析和推导其信息理论界限,并展示了它如何被两个更易于研究的率失真函数上下界限制所限制,最后论证这些边界的差异提供了关于MER的秩序紧密的率。
May, 2021
本文旨在改进处理不确定贝叶斯网络的现有方法,通过使该方法能够学习其参数的分布,即条件概率,并基于各种查询的强度和经验确定置信度限制,从而在不完整的数据情况下学习参数的后验分布。
Aug, 2022
本文探讨学习者对问题的先验信息的准确性与其学习表现之间的基本平衡问题,介绍了优先风险的概念,提出了一种推广最小化上限技术的方法来限制统计估计问题的优先风险,同时为了限制更一般的损失而引入了Fano's inequality的新概念,展示了该框架在估计,回归和强化学习问题中,提供了先验信息和学习表现之间平衡的见解。
Apr, 2023
本文介绍了基于Wasserstein距离的PAC-Bayesian泛化边界,并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明,并获得了用于SRM的可优化培训目标。
Jun, 2023