Oct, 2023

ReConTab：基于正则化对比表示学习的表格数据

PDF
TL;DR通过构建基于原始特征的非对称自编码器和对比学习，ReConTab 引入了深度自动表示学习框架，显著提高了下游任务的性能，尤其是在表格数据领域，减少了特征工程时间消耗，增强了传统方法的性能。
representation learningpre-trained embeddingstabular datacontrastive learningdownstream tasks
发现论文，激发创造
  • SubTab: 自监督表示学习中的表格数据特征子集

    本文介绍了一种新框架 SubTab, 通过将输入特征分成多个子集，将学习表格数据的任务转化为多视图表示学习问题，从而捕捉其潜在的潜在表示。在 MNIST 数据集上，SubTab 取得了 98.31％的表现，与 CNN 的最新结果持平，并在三个其他真实数据集上超过了现有基线。

    Oct, 2021

  • 基于局部对比的表格数据特征学习

    本文提出了一种新的本地对比特征学习（LoCL）框架，其主题是从表格数据中学习本地模式 / 特征。利用特征相关性创建最大生成树并将其分解，使用卷积学习特征，受对比和重构损失控制，与其他领先方法相比在公共表格数据集上实验表明提出的方法的有效性。

    Nov, 2022

  • TABBIE：表格数据的预训练表示

    通过自我学习目标函数和预训练语言模型（如 BERT）对表格和相关文本进行联合建模的现有工作可以提高涉及配对表格和文本的任务（例如回答关于表格的问题）的性能，但在没有任何相关文本的情况下处理表格的任务（例如填充缺失的单元格）时表现不佳。我们提出了一种简单的预训练目标（损坏单元格检测），该预训练目标只是从表格数据中学习，并且在一套基于表格的预测任务上达到了最先进的水平，从而超过了竞争方法。与其他方法不同，我们的模型（TABBIE）提供了所有表子结构（单元格、行和列）的嵌入，并且所需的计算时间也要少得多。我们对模型的学习单元格、列和行的表示进行了质量分析，结果表明它可以理解复杂的表语义和数字趋势。

    May, 2021

  • SwitchTab：交换式自编码器是有效的表格学习模型

    SwitchTab 是一种新颖的自我监督方法，专门用于捕捉表格数据中的潜在依赖关系，并通过使用经过预训练的鲜明嵌入来提高下游任务的性能，同时可通过可视化来创建可解释的表示。

    Jan, 2024

  • 基于自编码器的通用目标表示学习方法用于客户嵌入

    利用自动编码器构建通用嵌入框架，针对复杂的表格数据进行表征学习，提出改进的重构误差计算方法，得到更好的重构质量。

    Feb, 2024

  • CT-BERT：通过跨表格预训练学习更好的表格表示

    该研究论文探讨了针对表格数据的交叉表预训练的关键研究挑战，并提出了一种名为 CT-BERT 的新型框架，同时引入了对比学习和表格建模的目标，通过广泛的实证结果证明 CT-BERT 在监督和自监督设置下显著优于之前的方法。

    Jul, 2023

  • 双剑合璧：表格数据和图像数据的多模态对比学习

    该研究介绍了一种结合 SimCLR 和 SCARF 的自监督对比学习框架，使用心脏 MR 图像和 120 项临床特征预测冠状动脉疾病风险，并展示了标签作为特征的监督式对比学习的性能。

    Mar, 2023

  • 同调卷积神经网络

    通过在稀疏的表格数据中利用拓扑约束网络表示结构，我们提出了一种新颖的深度学习架构，利用卷积提取空间信息，并通过网络拓扑的有限概念来确保数据导向、可解释性和可扩展性，在 18 个基准数据集上测试表明，我们的方法在这些具有挑战性的数据集上达到了最先进的性能。

    Aug, 2023

  • 无合成假设学习表示

    本文使用图表征学习的方法来解决不同测量源所生成的多视图表格数据的无监督建模问题，并提出了一个基于数据驱动的方法，将特征集表示为图节点，通过可学习的边来表示它们之间的关系，并引入了一种新的分层图自编码器 LEGATO，学习一个小的潜在图来动态地汇集多个视图的信息，并采用定位信息来对输入进行建模，因此能更好地提高下游性能。

    May, 2023

  • TabRet：针对未知列预训练基于 Transformer 的表格模型

    TabRet 是一种用于表格数据的可预训练的基于 Transformer 模型的模型。它通过用自动编码损失校准特征嵌入来调整特征嵌入，并在分类任务上获得最佳性能，预训练数据是公共卫生调查。

    Mar, 2023