不变随机森林：基于树的模型解决 OOD 泛化问题

Dec, 2023

不变随机森林：基于树的模型解决 OOD 泛化问题

Invariant Random Forest: Tree-Based Model Solution for OOD Generalization

Yufan Liao, Qi Wu, Xing Yan

TL;DR这篇论文介绍了一种针对决策树模型的 OutOf-Distribution（OOD）泛化的新颖有效解决方案，名为不变决策树（IDT）。IDT 通过在树的生长过程中对于不同环境下分割的不稳定 / 变化行为施加惩罚项来实现 OOD 泛化。通过理论结果和合成以及真实数据集的数值测试，证实了所提出的方法的优越性能，表明决策树模型的 OOD 泛化是绝对必要且应该更加关注。

Abstract

Out-Of-Distribution (OOD) generalization is an essential topic in machine learning. However, recent research is only focusing on the corresponding methods for neural networks. This paper introduces a novel and effective solution for OOD generalization of decision tree models, named Inv

out-of-distribution generalization machine learning decision tree models invariant decision tree invariant random forest

发现论文，激发创造

时代分割

研究中提出了两种新的决策树分裂准则，可以将环境或逐时信息纳入基于树的模型中，以找到在数据的所有不联通时期中都是最优的分裂点，而不是整个数据集的最优设置。

Sep, 2023

一种新的基于直觉模糊决策树的随机森林集成

本文提出了一种基于直觉模糊随机森林（IFRF）的新型随机森林集成方法，结合了模糊逻辑和模糊集合的灵活性、随机抽样和特征选择的随机性以及多个分类器系统的鲁棒性，对复杂条件下的分类问题具有竞争力和优越性能。该方法通过使用直觉模糊信息增益选择特征并考虑信息传递中的犹豫性，在集成学习中使用直觉模糊决策树（IFDT），并通过广泛实验验证其优势。本研究首次提出了基于直觉模糊理论的随机森林集成算法。

Mar, 2024

关于超出分布泛化的理论框架

本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

Jun, 2021

关于外分布泛化评估的调研

机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

Mar, 2024

面向外部分布泛化：一项调查

该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

Aug, 2021

基于信息论的超出分布通用性的框架

在机器学习中，我们研究了离群分布的泛化问题，并提出了一个提供信息论泛化边界的通用框架，该框架自由地插值在积分概率度量和 f - 分布之间，并且自然地恢复了一些已知结果（包括 Wasserstein 和 KL 边界），同时产生了新的泛化边界。此外，我们还展示了该框架具有最佳传输解释。在两个具体的例子中评估时，所提出的边界要么在某些情况下严格改进了现有边界，要么恢复了现有离群分布的最佳边界。

Mar, 2024

利用不变学习的时间序列预测方法进行超出分布泛化

通过不变性学习，提出了 FOIL 框架，该框架能够增强时间序列预测模型在分布不同的情况下具有的广义能力，改进性能可达 85%。

Jun, 2024

过参数化对于超出分布之外的普适性的益处

研究了过参数化模型在 Out-of-Distribution 问题下的性能，发现模型容量的增加和模型集成有助于提高 OOD 推广能力。

Mar, 2024

机器学习模型中用于识别分布外数据的减少鲁棒性随机切割森林

本文介绍了一种使用 Reduced Robust Random Cut Forest (RRRCF) 数据结构的新方法来检测数据集是否处于训练分布，该方法在低维和高维数据的实证结果表明可以有效地进行数据分布的推断，而且该模型易于训练，并且不需要进行困难的超参数调整，用例包括测试和验证结果。

Jun, 2022

基于树模型的鲁棒性验证

研究基于树的模型的鲁棒性验证问题，包括决策树、随机森林和梯度上升决策树。提出了一种线性时间算法，可以验证单棵树，对于树集合，可以将验证问题建模为一个多部分图上的最大团问题并通过发现图的 boxicity 来求得一个紧密的下限。在 10 个数据集上，算法比之前需要解决的 MILP 快几百倍，并且能够对具有数百棵深度树的大型 GBDT 模型给出紧密的鲁棒性验证界限。

Jun, 2019