Jan, 2024

MambaTab：处理表格数据的简洁而有效方法

PDF
TL;DR发展了一种基于结构化状态空间模型（SSM）MambaTab 的创新方法，用于表格数据的端到端监督学习，相对于现有技术的基准，MambaTab 表现出更高的性能，在需要更少的参数和最小的预处理的同时经过了多样化基准数据集的实证验证，其高效性、可扩展性、普适性和预测性的增益表明其在广泛的实际应用上作为一种轻量级、即插即用的解决方案具有潜力。
tabular datastructured state-space modelmambatabefficient representationsupervised learning
发现论文，激发创造
  • 使用预训练语言模型建模表格数据

    通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），提出了一种新的名为 PTab 的框架，以将预训练模型用于建模表格数据，并取得比现有技术更好的分类效果。

    Sep, 2022

  • HyperTab: 基于超网络的小型表格数据深度学习方案

    HyperTab 是一种基于超网络的方法，用于在表格数据集上处理小样本问题，将随机森林和神经网络的优势相结合，同时生成神经网络集合，每个目标模型专门处理数据的特定低维视图。

    Apr, 2023

  • TransTab: 在表格间学习可迁移的表格变换器

    该研究论文提出了一种名为转移性表格变压器（TransTab）的新方法，该方法通过将表格中的每个样本（即行）转换为可推广的嵌入向量，然后应用堆叠的变压器进行特征编码，来学习来自多个表格的机器学习模型。该方法探讨了如何在训练和测试期间使用多个具有部分重叠列的表格进行机器学习模型的预测，并对预训练模型的性能进行了分析和比较。

    May, 2022

  • TabTransformer：使用上下文嵌入建模表格数据

    TabTransformer 是一个基于自注意力变换器 (Transformer) 的深度表格数据建模架构，可应用于监督和半监督学习。经过在 15 个公开数据集上的广泛实验，我们展示了 TabTransformer 在表格数据的深度学习方法中的超越和匹配效果。同时，我们演示了从 TabTransformer 学习的环境嵌入具有高度的鲁棒性，可用于噪声和丢失形式的数据特征，提供更好的可解释性。最后，对于半监督场景，我们开发了一种无监督的预训练过程来学习数据驱动的上下文嵌入，使 AUC 平均提升 2.1%。

    Dec, 2020

  • 基于表格数据的深度学习：一种自监督方法

    使用自监督学习的 TabTransformer 模型，通过描述一种新颖的表格数据训练方法，提高了对分类和数值特征的建模能力。通过对比传统机器学习模型和自监督学习方法，研究结果显示 TabTransformer 在表格数据上的性能优势。

    Jan, 2024

  • 深度学习在表格数据上的研究

    通过一个全面的基准测试，本文研究了深度表格方法和基于树的方法在各种任务类型、大小分布和领域中的性能排名以及影响深度表格方法成功的关键因素，并提取了对预测准确性起决定性作用的元特征。这些研究将进一步促进表格数据的研究。

    Jul, 2024

  • TABBIE：表格数据的预训练表示

    通过自我学习目标函数和预训练语言模型（如 BERT）对表格和相关文本进行联合建模的现有工作可以提高涉及配对表格和文本的任务（例如回答关于表格的问题）的性能，但在没有任何相关文本的情况下处理表格的任务（例如填充缺失的单元格）时表现不佳。我们提出了一种简单的预训练目标（损坏单元格检测），该预训练目标只是从表格数据中学习，并且在一套基于表格的预测任务上达到了最先进的水平，从而超过了竞争方法。与其他方法不同，我们的模型（TABBIE）提供了所有表子结构（单元格、行和列）的嵌入，并且所需的计算时间也要少得多。我们对模型的学习单元格、列和行的表示进行了质量分析，结果表明它可以理解复杂的表语义和数字趋势。

    May, 2021

  • XTab：跨表预训练技术用于表格 Transformer 模型

    本研究提出了一个名为 XTab 的跨表格预训练框架，使用自监督学习算法来提高多种数据集上的表格变换器的泛化性、学习速度和性能，并通过联邦学习解决了跨表不一致的挑战。

    May, 2023

  • TabMDA：使用上下文子集的 Transformers 进行任何分类器的表格流形数据增强

    TabMDA 是一种用于表格数据的流形数据增强方法，利用预训练的上下文模型将数据映射到流形空间，并通过多次编码数据进行标签无关的转换，从而拓展训练数据集，为下游分类器的性能提供了一种有效的利用预训练上下文模型的方式。

    Jun, 2024

  • TabNet: 关注可解释的表格学习

    本研究提出了一种新的、高性能和可解释的深度表格数据学习架构 TabNet，采用顺序注意方法在每个决策步骤中选择推理特征，实现了可解释性和更高效的学习。我们证明，在各种非性能饱和表格数据集上，TabNet 胜过其他神经网络和决策树变体，并提供了可解释的特征归因和对全局模型行为的深入认识。最后，我们首次在表格数据上展示了自监督学习，在未标记的数据丰富情况下显著提高了性能。

    Aug, 2019