Feb, 2024

关系学习中的全面关注提升

PDF
TL;DR基于树模型的注意机制结合与 (tabular data) 表格数据在 (gradient boosting) 梯度提升训练环境中学习，被证明在多个领域与包含树模型和神经网络模型的现有技术相比具有竞争力。
tabular dataneural nets-based modelsattention mechanismtree-based modelsgradient boosting
发现论文，激发创造
  • 表格数据：关注力是您所需的全部吗？

    通过对大规模的实证研究，本文发现神经网络在结构化表格数据上与决策树具有竞争力，而基于变压器的架构在表格数据集上并不能超过传统 MLP 架构的简化版本。这些发现有助于研究和实践社区在未来的表格数据应用中做出明智的选择。

    Feb, 2024

  • 树状模型在表格数据上为何仍然优于深度学习？

    通过与传统树模型如 XGBoost 和随机森林的对比，研究发现，对于中等大小数据集（约 10K 个样本），树模型仍然是当前在表格数据上的最佳选择；研究还提出了神经网络在表格数据上建模的若干挑战，并为后续研究提供基准测试数据和计算资源。

    Jul, 2022

  • 通过行注意力和对比预训练，改进表格数据的神经网络 (SAINT)

    本文提出了一种基于深度学习的表格数据处理模型 SAINT，该模型利用注意力机制同时考虑行和列信息，并使用先进的嵌入方法以及自监督预训练方法，实现了在有限标签数据下取得了与传统机器学习方法（包括 XGBoost、CatBoost 和 LightGBM）相当的准确率。

    Jun, 2021

  • 深度学习在表格数据上的研究

    通过一个全面的基准测试，本文研究了深度表格方法和基于树的方法在各种任务类型、大小分布和领域中的性能排名以及影响深度表格方法成功的关键因素，并提取了对预测准确性起决定性作用的元特征。这些研究将进一步促进表格数据的研究。

    Jul, 2024

  • 表格数据的注意力对比学习 - 数据中心的基准测试

    通过对 28 个表格数据集的广泛评估，本文介绍了在传统深度学习与机器学习基线上，在各个表格数据集上实现卓越性能的注意力和对比学习方法，以促进该领域的进一步发展。

    Jan, 2024

  • TabR: 发掘检索辅助的表格深度学习的能力

    通过逐步增加一个与诸多表格检索模型类似的注意力检索组件，TabR 模型在一组公开基准测试中表现出最佳平均性能，成为几个数据集上的最新技术标准，甚至在最近提出的 “GBDT 友好” 基准测试中超越了 GBDT 模型。

    Jul, 2023

  • 基于 Transformer 的多层注意力解释模型用于表格数据

    该研究提出了一种基于图的注意力机制解释方法用于表格数据，使用 Transformer 架构易于实现可解释性，通过对所有层的注意力矩阵进行建模，通过识别出影响模型预测的重要特征组，可以提供多层的基于注意力的解释。

    Feb, 2023

  • TabNet: 关注可解释的表格学习

    本研究提出了一种新的、高性能和可解释的深度表格数据学习架构 TabNet，采用顺序注意方法在每个决策步骤中选择推理特征，实现了可解释性和更高效的学习。我们证明，在各种非性能饱和表格数据集上，TabNet 胜过其他神经网络和决策树变体，并提供了可解释的特征归因和对全局模型行为的深入认识。最后，我们首次在表格数据上展示了自监督学习，在未标记的数据丰富情况下显著提高了性能。

    Aug, 2019

  • 优化良好的简单神经网络在表格数据集上表现优异

    本论文研究在神经网络中，如何利用 13 种正则化技术来优化多层感知机（MLP）在 40 个表格数据集上的性能，并证明了良好正则化的 MLP 可以明显优于最新的神经网络架构和传统机器学习方法。

    Jun, 2021

  • 使用图形和注意力网络学习表格数据中的样本间关系

    本文利用图神经网络 (GNN) 引入样本间的关系， 以学习表格数据的表征， 并将其与传统机器学习方法及现有深度学习方法进行比较。GNN 方法表现出在大特征 / 样本比率的表格数据上表现最佳，这揭示出传统机器学习假设中的 i.i.d 并不一定适用于大多数表格数据集。

    Jun, 2023