Boost then Convolve: 梯度提升相遇图神经网络
该研究分析了在标签数据上使用神经网络(NN)和梯度增强决策树(GBDT)的性能差异,发现针对不同数据集,NN 和 GBDT 的表现各有千秋,需要根据数据集来选择合适的算法并进行超参数调优。
May, 2023
本文提出了一种新的深度学习架构 Neural Oblivious Decision Ensembles(NODE)用于处理表格数据,并且与目前主要的 GBDT 方案相比,在大量的数据集上展示了超越竞争方案的表现。
Sep, 2019
IGNNet 是一个解释性图神经网络,用于处理表格数据,通过表征学习的方式捕获特征交互,大规模的实证研究证明 IGNNet 与 XGBoost、Random Forests 和 TabNet 等最先进的机器学习算法在处理表格数据时表现相当,同时 IGNNet 的解释与特征的 Shapley 值一致而无需额外的计算开销。
Aug, 2023
本文提出了一种新型深度学习模型,使用图神经网络(GNN)—— 特别是交互网络(IN)进行情境嵌入,以应对以表格形式存在的异构数据和特征。该模型在五个公共数据集上的深度学习基准测试中表现优异,优于最近发表的研究结果,并在与增强树解决方案的比较中也取得了竞争结果。
Mar, 2023
提出了一种名为 mGBDTs 的多层 GBDT 森林算法,通过堆叠多层回归 GBDTs 作为其构建块,探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练,无需反向传播或可微分性,并在性能和表示学习能力方面得到了证实。
May, 2018
本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断(NLI)任务方法,介绍了 FreeGBDT 方法,该方法可以在不增加神经网络的计算量的情况下,提高对特征的分类精度,实验证明 FreeGBDT 对于多个 NLI 数据集的 RoBERTa-large 基线模型都有稳定的提升。
May, 2021
提出了一种名为 Regularization Learning Networks (RLNs) 的方法,通过引入一个有效的超参数调整方案来优化 DNN 在 tabular 数据集上的性能,获得了与 GBT 相当的性能。同时,RLNs 还产生了极度稀疏的网络,消除了高达 98% 的网络边缘和 82%的输入特征,提供了更可解释的模型,并揭示了网络分配给不同输入的重要性。
May, 2018
引入决策树与动态图特征相结合的 TREE-G 模型,它不仅考虑了预定义的数据特征,而且结合了顶点特征、图拓扑信息和树的累积信息进行预测任务,同时还提供了可解释性机制,实验结果表明 TREE-G 在多个图和节点的预测基准实验中表现出较高的性能和准确度。
Jul, 2022