Jun, 2018

可退出机制：集成排序优化的高效评估方法

HTML
PDF
TL;DR提出了一种称为 QWYC（即 Quit When You Can）的贪心算法，用于设计分类器模型组合的评估顺序与提前终止阈值，实现了在保持高精度的同时显著减少平均评估时间。在基准和真实世界的问题上进行了实验证明，该算法相对于早期工作可以使平均评估时间加速约 2 倍-4 倍，且针对性能更好 。
发现论文，激发创造
  • 用于集成学习的贝叶斯超参数优化

    本文提出了一种基于贝叶斯优化的机器学习集成方法，通过优化固定大小组成的集成分类器的每个分类器的超参数配置，考虑了与其他模型的交互作用来评估性能，表明该方法比最佳单个模型和标准贝叶斯优化生成的模型的贪心集成构造更好。

    May, 2016

  • GOOWE: 面向动态数据流的几何最佳化和在线加权集成分类器

    本文介绍了一种新的数据流集成分类器，Geometrically Optimum and Online-Weighted Ensemble (GOOWE)。GOOWE通过使用包含最近数据实例的滑动窗口，为组成分类器分配最优权重。作者在真实世界数据集和MOA库的合成数据生成器中使用GOOWE，通过两个情景分析了该权重系统对预测准确性的影响，并将其与8种其他集成分类器进行了比较。实验结果表明，与基线相比，GOOWE在不同类型的概念漂移下提供了更好的反应，并且具有保守的时间和内存要求。

    Sep, 2017

  • 基于查询级别的增强学习排名集成早期结束

    本文探讨了一种新的问题——查询级别早期退出，旨在决定提前停止计算排名集合的收益性。实验结果表明，查询级别早期退出可以显著提高排名质量，并提高排名速度。

    Apr, 2020

  • 增量学习中的类别排序

    本文研究了类别排序对增量学习分类器评估的影响，提出了一种基于模拟退火算法和混淆矩阵推导的多种排序方法，并在不同增量学习场景下提高了各种最新增量学习方法的性能和排名。

    Jul, 2020

  • 灌木丛集用于在线分类

    本文提出了一种名为“Shrub Ensembles”的新型在线分类集成算法，它使用随机近端梯度下降法训练小到中等大小的决策树，并在小窗口上处理数据以节省内存。实验表明，该方法在资源有限的情况下仍然表现出色。

    Dec, 2021

  • 基于视窗的早期退出级联用于不确定性估计：当深度集成优于单一模型

    本文研究了将Deep Ensembles方法扩展到与不确定性评估相关的任务，提出了一种在接近二元决策边界的窗口内传递样本以实现早期退出的新方法，并发现级联/集成模型在OOD数据上比模型扩展更可靠。

    Mar, 2023

  • 计算最优树集合

    提出了两种新算法以及相应的下限，适用于树集合，展示了决策树和树集合分类训练数据集所需的切割数相比，随着树的数量增加，集合所需的切割数可能会指数级下降。

    Jun, 2023

  • Q(D)O-ES:基于人口的自动机器学习中后验高斯集成选择的质量(多样性)优化

    本文介绍了两种基于种群的集成选择方法QO-ES和QDO-ES，与现有的贪心集成选择方法GES进行比较，结果表明QO-ES和QDO-ES可以有效提高预测性能，但多样性也会增加过拟合的风险。

    Jul, 2023

  • 利用组件分类器的线性独立性：优化在线集成的大小和预测准确性

    通过线性独立性分析研究集成大小和分类准确度之间的关系，提出了基于该关系的集成大小的方法。实证结果表明增加分类器数量提高准确度，但存在收益递减点。该研究为进一步研究集成设计的复杂动态提供了开拓途径，并为实际场景中构建高效有效的集成提供了指导。

    Aug, 2023

  • 森林中的免费午餐：功能等同的提升树集成剪枝

    本研究针对提升树集成模型的可解释性不足和推理时间长的问题，提出了一种功能等同的剪枝方法。这种方法保证了在修剪后模型的预测功能保持不变，从而能够在大幅度减小模型规模的同时维持高性能，具有显著的实际应用价值。

    Aug, 2024