解释 AdaBoost 和随机森林作为插值分类器的成功

Apr, 2015

Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers

Abraham J. Wyner, Matthew Olson, Justin Bleich, David Mease

TL;DR本文提出了一种新的方法来解释 AdaBoost 和随机森林的工作原理，即它们都能产生类似的 “尖峰平缓” 的分类器，且并不需要规则化或早期停止。

Abstract

There is a large literature explaining why adaboost is a successful classifier. The literature on adaboost focuses on →

发现论文，激发创造

将树集合视为自适应和自正则化的平滑器，可以提供对集合中树的预测更为平滑的新认知和深入洞察，以及通过量化集合中树的平滑效果客观地重新审视和调和森林成功的两种近期解释，并挑战以方差减少为唯一解释的观点，展示森林通过三种机制改进树的性能，并通过丰富可用的假设空间减少学习函数的潜在偏差。

Feb, 2024

通过提出两种森林修剪方法，我们的研究旨在实现既有随机森林的准确性又具有决策树的解释性，通过在给定随机森林中找出最佳子森林，再将选定的树组合在一起，实验证明我们的方法在准确性和所使用的树的数量方面优于当前先进的森林修剪方法。

Jan, 2024

随机森林是一种通过构建多个随机决策树，通过平均聚合其预测结果的机器学习算法，可应用于广泛的预测问题并且具有较高的精度，同时支持小样本大小，高维特征空间和复杂数据结构的应对，本文在加法回归模型的情况下证明了该算法的一致性，并探究了随机森林如何很好地适应稀疏性。

May, 2014

本文提出了一种基于格论的代数方法来解释树集成分类器中随机森林的分类性能，并展示了该方法在提供全局解释方面的能力。

Feb, 2023

研究了随机森林模型的统计性质，证明其是一致的，适应于稀疏数据，收敛速度只与有效特征的数量有关。

May, 2010

该论文综述了随机森林算法的理论和方法发展，重点讨论了参数选择、重采样机制和变量重要性测量等数学因素驱动该算法，并强调了其在分类、回归和变量重要性测量等方面的应用。

Nov, 2015

本文探讨随机森林和核方法的联系，提出了基于随机森林的核方法 KeRF，KeRF 比随机森林更易于解释和分析，并通过实验证明了 KeRF 估计比随机森林估计更具优势。

Feb, 2015

本文主要关注于基于分类问题的随机森林模型处理大数据问题的现有方案，并尝试了五个变体实验，探究它们的相对性能和局限性。

Nov, 2015

本文研究了如何将一个名为 LionForests 的技术应用在多标签分类问题上，通过采用三种不同的策略来解决难以解释的问题，同时提供了定性和定量实验来评估效果。

Jul, 2022

利用马尔可夫网络编码提供充分必要的论证解释以代替理解复杂的决策树算法过程

Nov, 2022