TabTransformer是一个基于自注意力变换器(Transformer)的深度表格数据建模架构，可应用于监督和半监督学习。经过在15个公开数据集上的广泛实验，我们展示了TabTransformer在表格数据的深度学习方法中的超越和匹配效果。同时，我们演示了从TabTransformer学习的环境嵌入具有高度的鲁棒性，可用于噪声和丢失形式的数据特征，提供更好的可解释性。最后，对于半监督场景，我们开发了一种无监督的预训练过程来学习数据驱动的上下文嵌入，使AUC平均提升2.1%。

Dec, 2020

本研究对表格数据的深度学习架构进行概述，提出了两种简单而强大的基准深度架构，并发现Transformer架构对于表格数据的性能最优。

Jun, 2021

本文为研究人员和从业人员提供了深度学习方法在表格数据上的最新进展和应用，主要从数据变换、特殊网络架构、正则化模型和数据生成四个方面进行了探讨，并且在 5 个不同的实际数据集上，将传统机器学习方法与 11 种深度学习方法进行了实证比较，结果表明传统机器学习方法在有监督学习任务上仍优于基于深度学习的算法，提示相关研究有点停滞不前。

Oct, 2021

本研究针对数值特征在计算表格数据方面的表现，提出在深度学习中使用数值特征嵌入提升性能的方法，并重点研究两种不同的嵌入方式，并实现了嵌入在简单MLP-like模型与attention-based结构中的对比性能提升。

Mar, 2022

通过逐步增加一个与诸多表格检索模型类似的注意力检索组件，TabR模型在一组公开基准测试中表现出最佳平均性能，成为几个数据集上的最新技术标准，甚至在最近提出的“GBDT友好”基准测试中超越了GBDT模型。

Jul, 2023

通过对实现图神经网络(GNNs)的Tabular Data Learning (TDL)方法进行系统回顾与详细调查，本文强调了潜在关联性以及特征间数值的不足在TDL中。同时，本文提供了GNNs在构建图结构和表示学习方面的综合分类，以及对辅助任务和实际应用领域的讨论，探讨了GNNs在TDL中的多样性和影响，并提出了未来研究方向，以推动GNNs在TDL中的创新。

Jan, 2024

使用自监督学习的TabTransformer模型，通过描述一种新颖的表格数据训练方法，提高了对分类和数值特征的建模能力。通过对比传统机器学习模型和自监督学习方法，研究结果显示TabTransformer在表格数据上的性能优势。

Jan, 2024

通过对大规模的实证研究，本文发现神经网络在结构化表格数据上与决策树具有竞争力，而基于变压器的架构在表格数据集上并不能超过传统MLP架构的简化版本。这些发现有助于研究和实践社区在未来的表格数据应用中做出明智的选择。

Feb, 2024

通过一个全面的基准测试，本文研究了深度表格方法和基于树的方法在各种任务类型、大小分布和领域中的性能排名以及影响深度表格方法成功的关键因素，并提取了对预测准确性起决定性作用的元特征。这些研究将进一步促进表格数据的研究。

Jul, 2024

该研究提出了一种新的框架，将Gradient Boosted Decision Trees (GBDTs)和Deep Neural Networks (DNNs)的优势结合起来，形成一种效率与GBDTs相当且具有竞争力的DNN算法，以解决在特定表格数据集上选择有效模型的难题。通过组合关键组件，如GBDT特征筛选、DNN架构修剪和反向传播优化器，共同训练一个随机初始化的MLP模型，实验证明该方法在具有高度调优的DNN和GBDT主导的表格基准上表现出竞争力，并且具有紧凑的模型存储和显著降低的训练时间。

Jul, 2024