登记你的森林：通过显式 CPU 寄存器分配的决策树集成优化

Apr, 2024

登记你的森林：通过显式 CPU 寄存器分配的决策树集成优化

Daniel Biebert, Christian Hakert, Kuan-Hsun Chen, Jian-Jia Chen

TL;DR通过一种代码生成方法来为决策树集成模型分配寄存器，从而在单个转换步骤中直接生成机器汇编代码，使决策树集成模型的推理性能得到显著提高。

Abstract

Bringing high-level machine learning models to efficient and well-suited machine implementations often invokes a bunch of tools, e.g.~code generators, compilers, and optimizers. Along such tool chains, abstractions have to be applied. This leads to not optimally used CPU registers. Thi

high-level machine learning models efficient machine implementations code generation approach allocation of registers decision tree ensembles

发现论文，激发创造

计算最优树集合

提出了两种新算法以及相应的下限，适用于树集合，展示了决策树和树集合分类训练数据集所需的切割数相比，随着树的数量增加，集合所需的切割数可能会指数级下降。

Jun, 2023

TREE：树正则化用于高效执行

通过奖励不均匀概率分布来减少决策树路径长度，优化决策树的内存架构感知实现以降低执行时间。

Jun, 2024

在 ARM 设备上快速推理树集合

本文研究基于 ARM CPU 的机器学习模型评价问题，并发现使用固定点量化方法可以在几乎所有情况下提高速度，同时对模型预测性能影响可以忽略不计。

May, 2023

重生树集成

本研究旨在解决决策树集成在多领域应用时造成的可解释性下降，提出了 Born-Again 树集成的方法，通过动态规划算法生成出在实际数据集上表现优异的 Born-Again 树模型，以在不牺牲分类器性能的前提下获得更高的可解释性。

Mar, 2020

通过参考集合快速稀疏决策树优化

通过使用智能猜测策略，我们可以在几个数量级的时间里降低运行时间，提供对最佳决策树误差和表达能力偏差的界限，并在许多情况下快速构建与黑盒模型的匹配精度的稀疏决策树。

Dec, 2021

面向物联网边缘节点的动态决策树集成能效推理

本文针对物联网设备上的机器学习模型能源消耗较大的问题，提出了一种基于决策树集成的动态集成算法，在保证准确率不降低的情况下，显著降低了能耗。

Jun, 2023

灌木丛集用于在线分类

本文提出了一种名为 “Shrub Ensembles” 的新型在线分类集成算法，它使用随机近端梯度下降法训练小到中等大小的决策树，并在小窗口上处理数据以节省内存。实验表明，该方法在资源有限的情况下仍然表现出色。

Dec, 2021

混合特征空间已知约束条件下的贝叶斯优化树集成核函数

本文提出采用树集成的核解释作为高斯过程先验以获得模型方差估计，并开发了与采集函数兼容的优化公式来同时解决使用树集成进行黑盒优化的两个主要挑战，从而在连续 / 离散特征以及混合特征的空间中，优于竞争方法。

Jul, 2022

使用可微分决策树集成实现灵活建模和多任务学习

我们提出了一种灵活的决策树集成学习框架，支持任意损失函数、缺失响应和多任务学习，采用可微分的树集成训练，并通过张量形式的不同 iable trees 实现了高效的向量化，实验结果表明，我们的框架比流行工具包产生的决策树集成更紧凑，表达力更强。

May, 2022

重访级联集成以提高推理效率

本文研究了一种简单的自适应推理方案，通过构建级联模型集成（CoE）并根据集成一致性作为数据依赖路由准则，将资源高效的模型逐渐扩展到更表达能力的模型，从而提高准确性并降低推理成本。

Jul, 2024