使用图形和注意力网络学习表格数据中的样本间关系
本文提出了一种新型深度学习模型,使用图神经网络(GNN)—— 特别是交互网络(IN)进行情境嵌入,以应对以表格形式存在的异构数据和特征。该模型在五个公共数据集上的深度学习基准测试中表现优异,优于最近发表的研究结果,并在与增强树解决方案的比较中也取得了竞争结果。
Mar, 2023
通过对 28 个表格数据集的广泛评估,本文介绍了在传统深度学习与机器学习基线上,在各个表格数据集上实现卓越性能的注意力和对比学习方法,以促进该领域的进一步发展。
Jan, 2024
基于树模型的注意机制结合与 (tabular data) 表格数据在 (gradient boosting) 梯度提升训练环境中学习,被证明在多个领域与包含树模型和神经网络模型的现有技术相比具有竞争力。
Feb, 2024
通过对实现图神经网络 (GNNs) 的 Tabular Data Learning (TDL) 方法进行系统回顾与详细调查,本文强调了潜在关联性以及特征间数值的不足在 TDL 中。同时,本文提供了 GNNs 在构建图结构和表示学习方面的综合分类,以及对辅助任务和实际应用领域的讨论,探讨了 GNNs 在 TDL 中的多样性和影响,并提出了未来研究方向,以推动 GNNs 在 TDL 中的创新。
Jan, 2024
IGNNet 是一个解释性图神经网络,用于处理表格数据,通过表征学习的方式捕获特征交互,大规模的实证研究证明 IGNNet 与 XGBoost、Random Forests 和 TabNet 等最先进的机器学习算法在处理表格数据时表现相当,同时 IGNNet 的解释与特征的 Shapley 值一致而无需额外的计算开销。
Aug, 2023
本研究关注于图神经网络中节点的注意力机制及其效果影响,特别地,对比研究了图同构网络,在设计出一系列简单的图推理任务后,研究发现在典型环境下注意力的作用微乎其微,甚至有害作用,但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件,通常需要在初始化或监督训练注意力方面下功夫,并提出了一种弱监督训练注意力的方法,实现效果与有监督学习基本一致,比无监督学习在多个数据集上都要好。
May, 2019
本文提出了一种基于深度学习的表格数据处理模型 SAINT,该模型利用注意力机制同时考虑行和列信息,并使用先进的嵌入方法以及自监督预训练方法,实现了在有限标签数据下取得了与传统机器学习方法(包括 XGBoost、CatBoost 和 LightGBM)相当的准确率。
Jun, 2021
本文提出了一种利用图结构学习和图神经网络预测表格数据的新方法,通过提出的图对比学习模块、基于 Transformer 的特征提取器和图神经网络来同时学习实例相关性和特征交互,在 30 个基准表格数据集上的全面实验表明,TabGSL 明显优于树结构模型和最近的基于深度学习的表格模型。
May, 2023