Jun, 2024

跨表预训练：面向异构表格数据的通用函数空间

PDF
TL;DR本研究通过引入一种跨表预训练的 Transformer 模型（XTFormer），填补了现有的跨表数据预测任务中可重复模式有限且数据稀缺的空白。实验结果显示，在 190 项下游表格预测任务中，我们的 XTFormer 在 137 项（72%）任务上胜过 XGBoost 和 Catboost，并且在 144 项（76%）和 162 项（85%）任务上超过了具有代表性的深度学习模型 FT-Transformer 和表格预训练方法 XTab。
tabular datacross-dataset pretrainingxtformerdownstream tabular predictionmeta-function space
发现论文，激发创造
  • XTab：跨表预训练技术用于表格 Transformer 模型

    本研究提出了一个名为 XTab 的跨表格预训练框架，使用自监督学习算法来提高多种数据集上的表格变换器的泛化性、学习速度和性能，并通过联邦学习解决了跨表不一致的挑战。

    May, 2023

  • CT-BERT：通过跨表格预训练学习更好的表格表示

    该研究论文探讨了针对表格数据的交叉表预训练的关键研究挑战，并提出了一种名为 CT-BERT 的新型框架，同时引入了对比学习和表格建模的目标，通过广泛的实证结果证明 CT-BERT 在监督和自监督设置下显著优于之前的方法。

    Jul, 2023

  • TransTab: 在表格间学习可迁移的表格变换器

    该研究论文提出了一种名为转移性表格变压器（TransTab）的新方法，该方法通过将表格中的每个样本（即行）转换为可推广的嵌入向量，然后应用堆叠的变压器进行特征编码，来学习来自多个表格的机器学习模型。该方法探讨了如何在训练和测试期间使用多个具有部分重叠列的表格进行机器学习模型的预测，并对预训练模型的性能进行了分析和比较。

    May, 2022

  • 自助式交叉表格表示学习的扩展实验

    为了分析深度表格表示学习模型的扩展潜力，我们引入了一种专门针对表格数据的基于 Transformer 的架构，通过利用表格特定的分词器和共享的 Transformer 主干来进行交叉表格表示学习。我们的训练方法包括单表和交叉表格模型，通过自我监督的掩码式单元恢复目标进行缺失值填充。为了了解我们方法的扩展行为，我们训练了不同规模的模型，参数范围从大约 $10^4$ 到 $10^7$。这些模型在精心策划的预训练数据集上进行训练，包含来自 76 个不同数据集的 135M 个训练令牌。通过使用线性推测在精心策划的基准数据集上评估预训练模型并与传统基准进行比较，我们评估了我们架构在单表和交叉表格预训练设置中的扩展性。

    Sep, 2023

  • UniTabE：针对异构表格数据的统一表格编码器的预训练

    本研究旨在将预训练模型的能力扩展到传统上被忽视但本质上具有挑战性的表格数据领域，并介绍了一种名为 UniTabE 的先进方法，能够以一致的方式处理表格数据，通过预训练和微调来提高语义表达效果。

    Jul, 2023

  • 基于元表示的异构表格数据无需训练的泛化

    通过元表示的基于预训练的表格数据（TabPTM）模型，可以有效地应用于具有不同属性和类别空间的异构数据集，从而实现无需额外训练的泛化能力。

    Oct, 2023

  • 基于表格的预训练：模型架构、预训练目标和下游任务的调查

    本文综述了表格预训练的不同模型设计、预训练目标和下游任务，分享了现有挑战和未来机遇的思考和愿景。

    Jan, 2022

  • 提升预训练语言模型在表格预测任务中的性能

    TP-BERTa 是一种专门用于表格数据预测的预训练语言模型，通过将数值特征值转换为离散的高维标记，并使用内部特征注意方法将特征值与相应的特征名称相结合，TP-BERTa 在典型的表格数据领域中在表格 DNN 中表现卓越，并与梯度提升决策树模型具备竞争力。

    Mar, 2024

  • 使用预训练语言模型建模表格数据

    通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），提出了一种新的名为 PTab 的框架，以将预训练模型用于建模表格数据，并取得比现有技术更好的分类效果。

    Sep, 2022

  • 面向所有时间序列的单一 Transformer：使用时间相关异构列表数据进行表征和训练

    本文提出了一种 Transformer 架构以表示混杂的时间依赖型表格数据，其中数值特征使用一组频函数表示，并且整个网络使用唯一的损失函数均匀训练。

    Feb, 2023