Jul, 2024

基于树混合MLP的GBDT和DNN的联合：进一步提升高效和有效的表格预测

HTML
PDF
TL;DR该研究提出了一种新的框架，将Gradient Boosted Decision Trees (GBDTs)和Deep Neural Networks (DNNs)的优势结合起来，形成一种效率与GBDTs相当且具有竞争力的DNN算法，以解决在特定表格数据集上选择有效模型的难题。通过组合关键组件，如GBDT特征筛选、DNN架构修剪和反向传播优化器，共同训练一个随机初始化的MLP模型，实验证明该方法在具有高度调优的DNN和GBDT主导的表格基准上表现出竞争力，并且具有紧凑的模型存储和显著降低的训练时间。
发现论文，激发创造
  • 用于表格数据深度学习的神经无意识决策集合

    本文提出了一种新的深度学习架构Neural Oblivious Decision Ensembles（NODE）用于处理表格数据，并且与目前主要的GBDT方案相比，在大量的数据集上展示了超越竞争方案的表现。

    Sep, 2019

  • Boost then Convolve: 梯度提升相遇图神经网络

    该论文提出了一种新的网络结构，将GNN和GBDT训练在一起，以达到异质图表节点特征下最优化的效果，该模型经过广泛实验，证明在各种具有表格特征的图上性能显著提高。

    Jan, 2021

  • 重访针对表格数据的深度学习模型

    本研究对表格数据的深度学习架构进行概述，提出了两种简单而强大的基准深度架构，并发现Transformer架构对于表格数据的性能最优。

    Jun, 2021

  • 深度神经网络与表格数据: 一份调查报告

    本文为研究人员和从业人员提供了深度学习方法在表格数据上的最新进展和应用，主要从数据变换、特殊网络架构、正则化模型和数据生成四个方面进行了探讨，并且在 5 个不同的实际数据集上，将传统机器学习方法与 11 种深度学习方法进行了实证比较，结果表明传统机器学习方法在有监督学习任务上仍优于基于深度学习的算法，提示相关研究有点停滞不前。

    Oct, 2021

  • 树状模型在表格数据上为何仍然优于深度学习？

    通过与传统树模型如XGBoost和随机森林的对比，研究发现，对于中等大小数据集（约10K个样本），树模型仍然是当前在表格数据上的最佳选择；研究还提出了神经网络在表格数据上建模的若干挑战，并为后续研究提供基准测试数据和计算资源。

    Jul, 2022

  • 神经网络何时在表格数据上优于增强树？

    该研究分析了在标签数据上使用神经网络（NN）和梯度增强决策树（GBDT）的性能差异，发现针对不同数据集，NN和GBDT的表现各有千秋，需要根据数据集来选择合适的算法并进行超参数调优。

    May, 2023

  • 图神经网络在表格数据学习中的应用: 一项包含分类和发展方向的调查

    通过对实现图神经网络(GNNs)的Tabular Data Learning (TDL)方法进行系统回顾与详细调查，本文强调了潜在关联性以及特征间数值的不足在TDL中。同时，本文提供了GNNs在构建图结构和表示学习方面的综合分类，以及对辅助任务和实际应用领域的讨论，探讨了GNNs在TDL中的多样性和影响，并提出了未来研究方向，以推动GNNs在TDL中的创新。

    Jan, 2024

  • 深度学习在表格数据上的研究

    通过一个全面的基准测试，本文研究了深度表格方法和基于树的方法在各种任务类型、大小分布和领域中的性能排名以及影响深度表格方法成功的关键因素，并提取了对预测准确性起决定性作用的元特征。这些研究将进一步促进表格数据的研究。

    Jul, 2024

  • 更好的默认选择：对表格数据进行强大的预调MLP和增强树

    通过引入RealMLP（改进的多层感知器）和改进的默认参数，本研究解决了在表格数据的分类和回归中，由于超参数调优，深度学习方法通常比梯度提升决策树（GBDTs）更慢而备受挑战的问题。研究表明，RealMLP相比其他神经网络有更好的时间-准确性折衷，并且与GBDTs具有竞争力。此外，在中等规模的表格数据集（1K-500K样本）上，结合改进的默认参数的RealMLP和GBDTs可以在无需超参数调优的情况下取得出色的结果。

    Jul, 2024

  • 具有随机竞争的变压器用于表格数据建模

    基于 Transformer 架构和两种形式的随机竞争，我们提出了一种为表格数据特别设计的新型随机深度学习模型，并在广泛使用的公开数据集上验证了其高性能及深度学习在表格数据应用方面的显著进展。

    Jul, 2024