Sep, 2019

用于表格数据深度学习的神经无意识决策集合

PDF
TL;DR本文提出了一种新的深度学习架构 Neural Oblivious Decision Ensembles（NODE）用于处理表格数据，并且与目前主要的 GBDT 方案相比，在大量的数据集上展示了超越竞争方案的表现。
deep neural networkstabular dataneural oblivious decision ensemblesgradient boosting decision treesmachine learning
发现论文，激发创造
  • 表格数据：关注力是您所需的全部吗？

    通过对大规模的实证研究，本文发现神经网络在结构化表格数据上与决策树具有竞争力，而基于变压器的架构在表格数据集上并不能超过传统 MLP 架构的简化版本。这些发现有助于研究和实践社区在未来的表格数据应用中做出明智的选择。

    Feb, 2024

  • Boost then Convolve: 梯度提升相遇图神经网络

    该论文提出了一种新的网络结构，将 GNN 和 GBDT 训练在一起，以达到异质图表节点特征下最优化的效果，该模型经过广泛实验，证明在各种具有表格特征的图上性能显著提高。

    Jan, 2021

  • 深度神经决策树

    本研究提出了 Deep Neural Decision Trees（DNDT）—— 由神经网络实现的树模型，可以用于处理表格数据，DNDT 具有自解释性和自剪枝功能。

    Jun, 2018

  • 神经网络何时在表格数据上优于增强树？

    该研究分析了在标签数据上使用神经网络（NN）和梯度增强决策树（GBDT）的性能差异，发现针对不同数据集，NN 和 GBDT 的表现各有千秋，需要根据数据集来选择合适的算法并进行超参数调优。

    May, 2023

  • OCT-GAN: 基于神经常微分方程的条件表格生成对抗网络

    利用神经常微分方程设计生成器和判别器，用于解决合成表格数据的数据效用问题。

    May, 2021

  • 深度神经网络与表格数据：一份调查报告

    本文为研究人员和从业人员提供了深度学习方法在表格数据上的最新进展和应用，主要从数据变换、特殊网络架构、正则化模型和数据生成四个方面进行了探讨，并且在 5 个不同的实际数据集上，将传统机器学习方法与 11 种深度学习方法进行了实证比较，结果表明传统机器学习方法在有监督学习任务上仍优于基于深度学习的算法，提示相关研究有点停滞不前。

    Oct, 2021

  • 树状模型在表格数据上为何仍然优于深度学习？

    通过与传统树模型如 XGBoost 和随机森林的对比，研究发现，对于中等大小数据集（约 10K 个样本），树模型仍然是当前在表格数据上的最佳选择；研究还提出了神经网络在表格数据上建模的若干挑战，并为后续研究提供基准测试数据和计算资源。

    Jul, 2022

  • GRANDE: 基于梯度的决策树集成

    本文提出了 GRANDE，一种基于梯度的决策树集成模型，通过端到端梯度下降学习硬性、轴对齐的决策树集成模型。GRANDE 基于树集成的稠密表示，利用直线传播运算符对所有模型参数进行联合优化。通过结合轴对齐分割和基于梯度的优化，我们的方法既具备了适合表格数据的归纳偏好，又具备了优化的灵活性。此外，我们还引入了一种高级的逐实例加权方法，有助于在单个模型中学习简单和复杂的关系。我们在一个预定义的基准测试集上进行了广泛的评估，并且证明我们的方法在大多数数据集上胜过现有的梯度提升和深度学习框架。

    Sep, 2023

  • 实用知识蒸馏：使用 DNNs 击败 DNNs

    该研究探索了用于表格数据集的数据处理方法，包括数据压缩、数据去噪和优化集成方法等，结果证明这些方法可以改进梯度提升模型和基于 DNN 架构的模型，并且在数据规模越小的情况下 DNN 模型表现越优越。

    Feb, 2023

  • 正则化学习网络：表格数据的深度学习

    提出了一种名为 Regularization Learning Networks (RLNs) 的方法，通过引入一个有效的超参数调整方案来优化 DNN 在 tabular 数据集上的性能，获得了与 GBT 相当的性能。同时，RLNs 还产生了极度稀疏的网络，消除了高达 98% 的网络边缘和 82％的输入特征，提供了更可解释的模型，并揭示了网络分配给不同输入的重要性。

    May, 2018