Feb, 2024

自适应分割平衡优化随机森林

PDF
TL;DR本研究介绍了自适应分割平衡森林（ASBF）方法，能够在同时达到 Lipschitz 类的极小极值优化和 H"older 类的极小速率优化的条件下，从数据中学习树的表示。通过平衡修改现有方法，我们进一步提出了一种局部化版本来利用更高阶的平滑水平。实验结果表明，过度依赖辅助随机性可能会损害树模型的逼近能力，导致次优结果。相反，一种不那么随机、更加平衡的方法表现出最佳性。此外，我们还确定了均匀上界，并探讨了随机森林在平均处理效应估计问题中的应用。通过模拟研究和实际数据应用，我们展示了所提出方法相对于现有随机森林的卓越实证表现。
random forestsadaptive split balancing forestminimax optimalityhigher-order smoothnessaverage treatment effect estimation
发现论文，激发创造
  • 随机优化森林

    本文研究了背景下的随机优化问题，提出了一种基于森林决策策略的解决方案，通过开发近似分裂准则，我们能够有效降低运行时间，并在性能上接近于每个候选分裂都进行重新优化的森林算法.

    Aug, 2020

  • iBRF: 改进的平衡随机森林分类器

    在这项研究中，我们提出了一种改进的平衡随机森林分类器 (iBRF)，通过混合采样技术来平衡不均匀的类别分布，在解决不平衡分类任务时取得了比其他采样技术更好的预测性能。

    Mar, 2024

  • 双曲随机森林

    通过使用水平面将随机森林推广到双曲空间，使用大边际分类器找到候选分割，再结合子类最低共同祖先和类平衡的大边际损失方法，可以解决多类数据和不平衡实验问题，并且在标准和新的基准测试中表现优于传统随机森林算法和最近双曲分类器。

    Aug, 2023

  • 大数据的随机森林

    本文主要关注于基于分类问题的随机森林模型处理大数据问题的现有方案，并尝试了五个变体实验，探究它们的相对性能和局限性。

    Nov, 2015

  • 广义随机森林

    该研究提出了广义随机森林方法，用于基于随机森林进行非参数统计估计，可以用于拟合任何被识别为满足一组局部矩方程的解的感兴趣数量，提出了一种灵活且计算有效的算法以及新的非参数回归，条件平均偏差估计和异质性治疗效应估计方法，通过本研究可用 GRF 软件实现。

    Oct, 2016

  • 对抗样本下的强健决策树

    本文研究了树模型中对抗样本和模型稳健性的问题，并提出了一种优化决策树构建过程的算法，通过在最坏情况下的输入特征扰动下优化性能，可以显著提高树模型对抗样本的稳健性。

    Feb, 2019

  • 决策树高效非贪婪优化

    该论文提出了一种算法，该算法能够基于全局目标同时优化决策树的所有级别的分裂函数和叶参数，使用随机梯度下降进行优化，实验结果表明，该算法相比贪心算法在分类任务的表现优秀。

    Nov, 2015

  • 基于置信度的公平性与准确性平衡方法

    研究三种经典机器学习算法（自适应 boosting，支持向量机和逻辑回归算法）在算法公平性方面的应用，旨在通过改变决策边界以减少对某一保护组成员的歧视。提出的方法在准确度和低歧视方面与先前的算法相当或优于，同时允许快速透明地量化偏差和误差之间的权衡。通过新的公平度量（RRB），结合偏差和准确性来提供算法公平性的更完整的图景。

    Jan, 2016

  • 基于随机森林变量重要性的类别不平衡问题选择算法

    在这篇论文中，研究了类平衡对随机森林变量重要性的影响，并提出了一种利用随机森林变量重要性和置信区间的变量选择算法，在实验研究中表明该算法可以有效地选择最优特征集，改善类不平衡问题的预测性能。

    Dec, 2023

  • 利曼 - 勒贝格回归森林

    我们提出了一种新的集成方法，称为 Riemann-Lebesgue Forest (RLF)，用于回归问题，通过在非终止节点上从响应 Y 或特征空间 X 中的方向来对节点进行划分。通过模拟数据和真实世界数据的实验证明了 RLF 相对于原始随机森林的竞争性能。

    Feb, 2024