超快速：表格数据的即时分类

AAAIFeb, 2024

HyperFast: Instant Classification for Tabular Data

David Bonet, Daniel Mas Montserrat, Xavier Giró-i-Nieto, Alexander G. Ioannidis

TL;DRHyperFast 是一个元训练的超网络，用于在单次前向传递中为表格数据的即时分类生成特定任务的神经网络，消除了模型训练的需求。HyperFast 在 OpenML 和基因组数据上进行了大量实验，并与竞争的表格数据神经网络、传统机器学习方法、AutoML 系统和提升机进行了比较。与竞争方法相比，HyperFast 显示出高竞争性的结果，并且速度显著更快。此外，我们的方法在各种分类任务中表现出了稳健的适应性，几乎不需要微调，使 HyperFast 成为众多应用和快速模型部署的强大解决方案。HyperFast 引入了一种快速分类的有希望范例，有潜力大大减少深度学习的计算负担。我们提供了类似 scikit-learn 的接口的代码和训练好的 HyperFast 模型，可以在此 URL 找到。

Abstract

Training deep learning models and performing hyperparameter tuning can be computationally demanding and time-consuming. Meanwhile, traditional machine learning methods like gradient-boosting algorithms remain the

deep learning models hyperparameter tuning tabular data applications neural network alternatives hyperfast

发现论文，激发创造

HyperTab: 基于超网络的小型表格数据深度学习方案

HyperTab 是一种基于超网络的方法，用于在表格数据集上处理小样本问题，将随机森林和神经网络的优势相结合，同时生成神经网络集合，每个目标模型专门处理数据的特定低维视图。

Apr, 2023

深度神经网络与表格数据：一份调查报告

本文为研究人员和从业人员提供了深度学习方法在表格数据上的最新进展和应用，主要从数据变换、特殊网络架构、正则化模型和数据生成四个方面进行了探讨，并且在 5 个不同的实际数据集上，将传统机器学习方法与 11 种深度学习方法进行了实证比较，结果表明传统机器学习方法在有监督学习任务上仍优于基于深度学习的算法，提示相关研究有点停滞不前。

Oct, 2021

树状模型在表格数据上为何仍然优于深度学习？

通过与传统树模型如 XGBoost 和随机森林的对比，研究发现，对于中等大小数据集（约 10K 个样本），树模型仍然是当前在表格数据上的最佳选择；研究还提出了神经网络在表格数据上建模的若干挑战，并为后续研究提供基准测试数据和计算资源。

Jul, 2022

增强蒸馏技术的表格数据快速准确简单模型

FAST-DAD 是一种能够将复杂的模型集合精简为促进部署的个体模型的方法，它基于数据增强策略，并使用基于自注意力的伪似然估计器的吉布斯采样。在 30 个跨越回归和二元 / 多类分类任务的数据集上，FAST-DAD 精炼方法得到的个体模型比在原始数据上进行标准培训获得的模型更快而且更准确，可以超过 AutoML 工具如 H2O / AutoSklearn 生成的集成预测器 10 倍以上。

Jun, 2020

表格数据：关注力是您所需的全部吗？

通过对大规模的实证研究，本文发现神经网络在结构化表格数据上与决策树具有竞争力，而基于变压器的架构在表格数据集上并不能超过传统 MLP 架构的简化版本。这些发现有助于研究和实践社区在未来的表格数据应用中做出明智的选择。

Feb, 2024

MotherNet: 基于表格分类的基础超网络

提出了一种基于超网络架构的 MotherNet 模型，通过在训练集上进行一次前向传播生成一个经过训练的子神经网络，用于多类别分类任意表格数据集，并在效率和鲁棒性方面具有竞争力。

Dec, 2023

TabPFN: 一种在一秒内解决小型表格分类问题的 Transformer

TabPFN 是一个训练有素的 Transformer，可对小型表格数据集进行监督分类，无需调整超参数，并且在与最先进的分类方法竞争中具有竞争力，它彻底包含在我们网络的权重中，并接受训练和测试样本以及一系列值输入，并在单个前向传递中为整个测试集产生预测，其先验扩展了因果推理的一些想法，适用于预测与给定输入和输出相关的结构因果模型。

Jul, 2022

TabNet: 关注可解释的表格学习

本研究提出了一种新的、高性能和可解释的深度表格数据学习架构 TabNet，采用顺序注意方法在每个决策步骤中选择推理特征，实现了可解释性和更高效的学习。我们证明，在各种非性能饱和表格数据集上，TabNet 胜过其他神经网络和决策树变体，并提供了可解释的特征归因和对全局模型行为的深入认识。最后，我们首次在表格数据上展示了自监督学习，在未标记的数据丰富情况下显著提高了性能。

Aug, 2019

用表格转换器对多元时间序列进行建模

本研究利用深度学习算法构建神经网络模型，对具有层级结构的表格时间序列进行表示学习，提供了一种类似于 BERT 的预训练模型以及类似于 GPT 的合成模型，并在信用卡诈骗检测和空气污染浓度预测两个领域应用验证了模型的效果。

Nov, 2020

神经网络何时在表格数据上优于增强树？

该研究分析了在标签数据上使用神经网络（NN）和梯度增强决策树（GBDT）的性能差异，发现针对不同数据集，NN 和 GBDT 的表现各有千秋，需要根据数据集来选择合适的算法并进行超参数调优。

May, 2023