一种用于学习瘦树的端到端特征选择方法

Oct, 2023

一种用于学习瘦树的端到端特征选择方法

End-to-end Feature Selection Approach for Learning Skinny Trees

Shibal Ibrahim, Kayhan Behdin, Rahul Mazumder

TL;DR通过同时进行特征选择和树集成学习的方法，我们提出了 Skinny Trees 工具包，利用 Group l0-l2 正则化及变分树的不断优化方法，实现了高效的特征选择和树集成学习，并在性能上超越了现有工具包 LightGBM 和 Random Forests。

Abstract

joint feature selection and tree ensemble learning is a challenging task. Popular tree ensemble toolkits e.g., Gradient Boosted Trees and Random Forests support feature selection post-training based on feature im

joint feature selection tree ensemble learning skinny trees feature compression rates auc performance

发现论文，激发创造

适应平滑性和稀疏性的贝叶斯回归树集成

使用稀疏感应的 soft decision trees 取代传统的决策树集成方法，可以克服它们的光滑性差和受维度灾难的困扰。在 Bayesian additive regression trees 框架下实现该方法，理论上得到强大的支持，并在基准数据集上表现出良好的性能。

Jul, 2017

混合特征空间已知约束条件下的贝叶斯优化树集成核函数

本文提出采用树集成的核解释作为高斯过程先验以获得模型方差估计，并开发了与采集函数兼容的优化公式来同时解决使用树集成进行黑盒优化的两个主要挑战，从而在连续 / 离散特征以及混合特征的空间中，优于竞争方法。

Jul, 2022

使用可微分决策树集成实现灵活建模和多任务学习

我们提出了一种灵活的决策树集成学习框架，支持任意损失函数、缺失响应和多任务学习，采用可微分的树集成训练，并通过张量形式的不同 iable trees 实现了高效的向量化，实验结果表明，我们的框架比流行工具包产生的决策树集成更紧凑，表达力更强。

May, 2022

计算最优树集合

提出了两种新算法以及相应的下限，适用于树集合，展示了决策树和树集合分类训练数据集所需的切割数相比，随着树的数量增加，集合所需的切割数可能会指数级下降。

Jun, 2023

时间序列预测的分层集成特征选择

我们研究了一种新颖的集成方法，用于处理非稳态和样本有限、特征数量庞大的特征选择问题。通过利用特征之间的相互依赖关系，我们提出的层次结构方法克服了传统特征选择方法和特征重要性评分的局限性，并在合成和实际数据集上展示了可伸缩性和稳定性方面的改进性能。

Oct, 2023

（多任务）梯度提升树的可扩展特征选择

本文提出了一种可伸缩的基于前向特征选择的梯度提升决策树方法，通过一种新颖的群体测试过程，在高维度下工作良好，并具有较好的理论性能和计算保证，可用于搜索和推荐中的排名和相关模型的构建。同时，该方法扩展到多任务设置，允许从多个任务中选择通用特征和选择任务特定特征，与现有的梯度提升决策树方法相比，在模型性能度量方面表现相当，但训练时间有显著提升。

Sep, 2021

通过参考集合快速稀疏决策树优化

通过使用智能猜测策略，我们可以在几个数量级的时间里降低运行时间，提供对最佳决策树误差和表达能力偏差的界限，并在许多情况下快速构建与黑盒模型的匹配精度的稀疏决策树。

Dec, 2021

灌木丛集用于在线分类

本文提出了一种名为 “Shrub Ensembles” 的新型在线分类集成算法，它使用随机近端梯度下降法训练小到中等大小的决策树，并在小窗口上处理数据以节省内存。实验表明，该方法在资源有限的情况下仍然表现出色。

Dec, 2021

使树集成模型可解释性：贝叶斯模型选择方法

本研究提出了一种通过模型简化方法（树模型的选择问题），使得复杂的树模型具有可解释性的算法，该算法可以保证预测性能的同时，将复杂的树模型逼近成最简单的表现形式

Jun, 2016

概率回归树集成

该研究使用基于树的集成方法，如随机森林、梯度提升树和贝叶斯增加回归树，在许多应用和研究中成功地用于回归问题。本文研究了概率回归树的集成版本，通过将每个观测分配到相对应的概率分布区域，为目标函数提供平滑逼近。我们证明了所考虑的概率回归树的集成版本是一致的，并在实验中研究了它们的偏差 - 方差折衷，并与最先进的性能预测方法进行比较。

Jun, 2024