统计汇聚的本地风险界限

Jun, 2023

Local Risk Bounds for Statistical Aggregation

Jaouad Mourtada, Tomas Vaškevičius, Nikita Zhivotovskiy

TL;DR本文研究了聚合理论中的统计学设置，并通过用较小的局部复杂度替换全局复杂度来加强经典聚合理论的结果，包括基于 Leung 和 Barron 的指数权重估计器的局部经典简单限制，并针对 Q - 聚合估计器提出了偏差最优限制。

Abstract

In the problem of aggregation, the aim is to combine a given class of base predictors to achieve predictions nearly as accurate as the best one. In this flexible framework, no assumption is made on the structure of the class or the nature of the target. →

aggregation base predictors global complexity pac-bayes localization technique q-aggregation estimator

发现论文，激发创造

PAC-Bayes 界的用户友好型介绍

本文介绍了聚合和随机投票学习模型的 PAC-Bayes 泛化理论及其优化技术，并对这些技术在人工神经网络上的应用进行了探讨。

Oct, 2021

局部似然估计的空间聚合及其在分类中的应用

本文提出一种新的空间自适应局部 (常数) 似然估计方法，适用于广泛的非参数模型，包括高斯、泊松和二元反应模型，并建议一种新的选取程序参数的方法，同时对其优化性提出一些理论结果，并将此方法应用于分类问题的数值研究中，展示其在模拟和实际问题中的合理表现。

Dec, 2007

指数加权聚合、尖锐的 PAC-Bayesian 界限与稀疏性

本文讨论了在确定性设计模型下，平方损失的聚合问题。我们在误差分布和函数聚合方面获得了尖锐的 PAC-Bayesian 风险界，并将这些结果应用于导出稀疏谱系不等式。

Mar, 2008

高斯过程下聚合输出的变分学习

通过使用输出聚合模型和高斯过程的变分学习方法，结合新的边界和可行的近似，可显着提高预测准确性和可扩展性，适用于各种可能性，包括疫情的精细空间模拟。

May, 2018

低噪声假设下分类聚合的最优速率

采用指数权重的综合方法，在边际假设下，对于铰链风险（hinge risk），获得了凸聚合的最优速率。此外，在边际假设下，对于超额贝叶斯风险，获得了模型选择聚合的最优速率。

Mar, 2006

Q - 聚合最优学习

研究具有强凸和 Lipschitz 损失的一般监督学习问题，研究模型选择集成问题。证明了 Q-aggregation 过程将产生期望和高概率上都满足最优 Oracle 不等式的估计器。

Jan, 2013

非均匀收敛下的最优 PAC 上界

本研究提出一种新的框架，超越了传统统一收敛方法的限制，将排列不变预测器的交叉检验误差转化为高概率风险界，并通过 Haussler, Littlestone, 和 Warmuth 的一种算法在二元分类中实现了最优 PAC 界限。在多类分类、部分假设分类和实现有限的回归等三种不同场合中，我们证明了该框架的优越性能。

Apr, 2023

一种公理化方法的损失汇总及适应性汇总算法

针对在线学习推荐的一种变体聚合算法，该算法基于广义聚合函数，具有与 AA 相似的理论性质，如贝叶斯更新和对广义和损失的时间无关边界。

Jun, 2024

利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

Feb, 2024

Kullback-Leibler 聚合和错误指定的广义线性模型

本文介绍了在确定性设计下，回归设置中的简单聚合问题，并将其从高斯分布扩展到指数族分布。通过约束和 / 或罚分最大化方法解决此问题并导出了能够在期望和高概率情况下保持的谐振不等式。最后，证明了所有边界在最小化意义上都是最优的。

Nov, 2009