利用组件分类器的线性独立性:优化在线集成的大小和预测准确性
本文主要探讨如何在无监督学习中,检测强违反条件独立性的分类器依赖关系,提高分类器准确性估计以及构造更合适的元学习器的方法,旨在提高集成学习算法的性能表现。
Oct, 2015
本文介绍了一种新的数据流集成分类器,Geometrically Optimum and Online-Weighted Ensemble (GOOWE)。GOOWE通过使用包含最近数据实例的滑动窗口,为组成分类器分配最优权重。作者在真实世界数据集和MOA库的合成数据生成器中使用GOOWE,通过两个情景分析了该权重系统对预测准确性的影响,并将其与8种其他集成分类器进行了比较。实验结果表明,与基线相比,GOOWE在不同类型的概念漂移下提供了更好的反应,并且具有保守的时间和内存要求。
Sep, 2017
通过构建神经网络集成,可以更好地进行预测和不确定性估计,并将不确定性分解为数据不确定性和模型不确定性。本文提出了一种保持神经网络集成分解性质的蒸馏框架,其预测性能与标准蒸馏相当。
Feb, 2020
本研究提出了一种基于Fano不等式的合奏学习理论,用一套扎实的度量体系来评估一个给定的合奏系统,并通过实验验证和证明了这种理论的有效性,该理论将推动合奏学习的理论认识,并为系统设计提供洞见。
May, 2022
本论文提出了一种集成多样性理论,阐明了多样性的本质及对各种监督学习场景的影响,揭示了多样性是集合偏差方差分解中的一个隐含维度,同时提供了一种自动识别可使偏差方差多样性分解成立的组合规则的方法。在此基础上,实验进一步说明了我们可以用该框架来理解当前流行的集成方法。
Jan, 2023
研究加入集成(ensembling)技术在分类任务中的性能提升问题,证明当集成模型中错误率低于集成模型间的不同率时,在学习任务中加入集成技术可以显著提高性能。通过理论和实验的方式证明这种推论,并在实践中找出集成技术适用和不适用的情况。
May, 2023
提出了一种基于最大边际相关性(Maximal Marginal Relevance)的全新集成构建和维护方法(DynED),该方法在构建集成的过程中动态地将组件的多样性和预测准确性进行结合,实验结果表明,与五种最新方法相比,该方法在四个真实和11个合成数据集上提供了更高的平均准确度。
Aug, 2023
本文提出一种实用的方法来估计多个分类器的联合能力,与现有方法不同的是它不依赖于标签,从而使得在大型无监督数据集中进行工作成为可能。该方法通过组合误差的组合边界实现,能够高效地搜索可能产生更高联合准确性的分类器组合。此外,该方法适用于无标签数据,使其在现代的无监督学习场景中既准确又实用。通过在流行的大规模人脸识别数据集上进行实验证明了该方法的有效性,这些数据集为使用嘈杂数据进行细粒度分类任务提供了一个有用的测试平台。该方法与无监督学习的趋势性实践相吻合,通过衡量一组分类器的内在独立性,而不依赖于其他分类器或标记数据。
Nov, 2023
该研究解决了在集成学习中,如何用较少的基学习器达到通常需要大量基学习器的性能这一问题。通过引入置信张量来评估基学习器在不同类别上的表现,并设计平滑的凸目标函数,大幅提升了分类性能和泛化能力。研究表明,该方法在数量较少的基学习器条件下,能获得优于传统大规模算法的结果。
Aug, 2024
本研究解决了如何在有限的基本学习者下仍能实现高性能的问题。提出了一种创新的信心张量,能够提升每个弱基本学习者的整合效率,从而在较少的基本学习者的情况下实现更优的分类性能。研究表明,该方法在多个数据集上优于其他传统算法,具有显著的应用潜力。
Aug, 2024