级联随机加权多数:一种新的在线集成学习算法
本文针对人力众包任务标注中工作者不可靠的情况,提出一种基于权重投票的错误率上界优化方法,并给出了多类标注错误率(包括期望和概率)的有限样本指数界。实验结果表明该方法不仅在模拟数据上表现良好,而且在实际数据上与现有方法一致,但计算成本要小大约 100 倍。
Nov, 2014
研究了加权多数投票算法的不确定性和稳定性以及如何衡量和分析在决策正确性和优化性之间的稳定性,提供了一种基于信任和信任值来支持决策的算法,并讨论了在信任和真实值之间变化时,决策正确性的敏感性。
Jul, 2022
设计在线算法,利用机器学习预测,以超越最坏情况范例,解决各种实际相关在线问题(如调度、缓存、聚类、滑雪租赁等)。通过研究设计具备多个专家的在线算法,以超越静态最佳专家的贪心基准。在新的动态基准中提出了具有 O(log K)性能保证的竞争算法,其中 K 是专家数量,适用于 0-1 在线优化问题。此外,我们的多专家方法提供了一种在线组合多个在线算法的新视角,这是在线算法研究社区长期的核心主题。
Dec, 2023
本文介绍了一种新的数据流集成分类器,Geometrically Optimum and Online-Weighted Ensemble (GOOWE)。GOOWE 通过使用包含最近数据实例的滑动窗口,为组成分类器分配最优权重。作者在真实世界数据集和 MOA 库的合成数据生成器中使用 GOOWE,通过两个情景分析了该权重系统对预测准确性的影响,并将其与 8 种其他集成分类器进行了比较。实验结果表明,与基线相比,GOOWE 在不同类型的概念漂移下提供了更好的反应,并且具有保守的时间和内存要求。
Sep, 2017
该研究建立了 PAC 学习高维图模型与图结构计数和采样的新联系,使用在线学习框架,给出了新的样本复杂度界限以及面向树形和给定和弦骨架的贝叶斯网络的多项式样本和时间算法。
May, 2024
该研究提出了一种适用于回归问题的新型混合专家方法,利用个体专家的预测不确定性作为融合的依据,实现对不平衡数据的有效学习。实验结果表明,该方法优于现有备选方案,同时产生更好的不确定性估计。
May, 2023
针对机器学习系统中偏见问题严重影响公平性的现状,我们提出了一种通过加权投票对预测结果进行校正的分析方法,同时基于该分析提出了一种基于主导和帕累托最优概念的修剪方法,能够在保证较小的准确性下提高公平性,实验证明该方法较为可行。
Jan, 2023
应用聚合策略进行预测时,需要自适应调整学习速率以避免复杂度和当前损失率之间的分析难题;本文基于 Kalai 和 Vempala(2003)的 “Follow the Perturbed Leader”(FPL)算法,在两种不同的专家类别下得出了可调学习速率的损失界限,其中前者的损失界限与迄今为止最佳结果匹配,而后者为新结果。
Apr, 2005
提出了两种创新的双层加权投票集成模型,旨在提高加权集成方法的效果,通过选择概率最高的分类结果(第一种方法)和最高加权预测(第二种方法)来确定最优结果。这些方法显著提高了加权集成技术的整体性能,并通过与软投票技术的对比分析证明了其优越性和有效性。
Mar, 2024