May, 2021

TABBIE：表格数据的预训练表示

PDF
TL;DR通过自我学习目标函数和预训练语言模型（如 BERT）对表格和相关文本进行联合建模的现有工作可以提高涉及配对表格和文本的任务（例如回答关于表格的问题）的性能，但在没有任何相关文本的情况下处理表格的任务（例如填充缺失的单元格）时表现不佳。我们提出了一种简单的预训练目标（损坏单元格检测），该预训练目标只是从表格数据中学习，并且在一套基于表格的预测任务上达到了最先进的水平，从而超过了竞争方法。与其他方法不同，我们的模型（TABBIE）提供了所有表子结构（单元格、行和列）的嵌入，并且所需的计算时间也要少得多。我们对模型的学习单元格、列和行的表示进行了质量分析，结果表明它可以理解复杂的表语义和数字趋势。
tabular representation learningself-supervised objective functionspretraining objectivetable-based prediction taskstabbie model
发现论文，激发创造
  • CT-BERT：通过跨表格预训练学习更好的表格表示

    该研究论文探讨了针对表格数据的交叉表预训练的关键研究挑战，并提出了一种名为 CT-BERT 的新型框架，同时引入了对比学习和表格建模的目标，通过广泛的实证结果证明 CT-BERT 在监督和自监督设置下显著优于之前的方法。

    Jul, 2023

  • 基于表格的预训练：模型架构、预训练目标和下游任务的调查

    本文综述了表格预训练的不同模型设计、预训练目标和下游任务，分享了现有挑战和未来机遇的思考和愿景。

    Jan, 2022

  • TaBERT: 文本和表格数据联合理解的预训练

    该论文提出了一种在语言模型中加入（半）结构化表格信息的方法，并在语义解析任务上取得了新的最佳结果。

    May, 2020

  • 使用预训练语言模型建模表格数据

    通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），提出了一种新的名为 PTab 的框架，以将预训练模型用于建模表格数据，并取得比现有技术更好的分类效果。

    Sep, 2022

  • TransTab: 在表格间学习可迁移的表格变换器

    该研究论文提出了一种名为转移性表格变压器（TransTab）的新方法，该方法通过将表格中的每个样本（即行）转换为可推广的嵌入向量，然后应用堆叠的变压器进行特征编码，来学习来自多个表格的机器学习模型。该方法探讨了如何在训练和测试期间使用多个具有部分重叠列的表格进行机器学习模型的预测，并对预训练模型的性能进行了分析和比较。

    May, 2022

  • SubTab: 自监督表示学习中的表格数据特征子集

    本文介绍了一种新框架 SubTab, 通过将输入特征分成多个子集，将学习表格数据的任务转化为多视图表示学习问题，从而捕捉其潜在的潜在表示。在 MNIST 数据集上，SubTab 取得了 98.31％的表现，与 CNN 的最新结果持平，并在三个其他真实数据集上超过了现有基线。

    Oct, 2021

  • XTab：跨表预训练技术用于表格 Transformer 模型

    本研究提出了一个名为 XTab 的跨表格预训练框架，使用自监督学习算法来提高多种数据集上的表格变换器的泛化性、学习速度和性能，并通过联邦学习解决了跨表不一致的挑战。

    May, 2023

  • 提升预训练语言模型在表格预测任务中的性能

    TP-BERTa 是一种专门用于表格数据预测的预训练语言模型，通过将数值特征值转换为离散的高维标记，并使用内部特征注意方法将特征值与相应的特征名称相结合，TP-BERTa 在典型的表格数据领域中在表格 DNN 中表现卓越，并与梯度提升决策树模型具备竞争力。

    Mar, 2024

  • 使用 TabT5 进行表格到文本生成和预训练

    TABT5 是编码器 - 解码器模型，可以生成基于表格和文本输入的自然语言文本，结合表格特定的嵌入和预训练，成功地克服了编码器的限制，并在多个领域取得了最新的最佳结果。

    Oct, 2022

  • 自助式交叉表格表示学习的扩展实验

    为了分析深度表格表示学习模型的扩展潜力，我们引入了一种专门针对表格数据的基于 Transformer 的架构，通过利用表格特定的分词器和共享的 Transformer 主干来进行交叉表格表示学习。我们的训练方法包括单表和交叉表格模型，通过自我监督的掩码式单元恢复目标进行缺失值填充。为了了解我们方法的扩展行为，我们训练了不同规模的模型，参数范围从大约 $10^4$ 到 $10^7$。这些模型在精心策划的预训练数据集上进行训练，包含来自 76 个不同数据集的 135M 个训练令牌。通过使用线性推测在精心策划的基准数据集上评估预训练模型并与传统基准进行比较，我们评估了我们架构在单表和交叉表格预训练设置中的扩展性。

    Sep, 2023