TabMDA：使用上下文子集的 Transformers 进行任何分类器的表格流形数据增强

Jun, 2024

TabMDA：使用上下文子集的 Transformers 进行任何分类器的表格流形数据增强

TabMDA: Tabular Manifold Data Augmentation for Any Classifier using Transformers with In-context Subsetting

Andrei Margeloiu, Adrián Bazaga, Nikola Simidjievski, Pietro Liò, Mateja Jamnik

TL;DRTabMDA 是一种用于表格数据的流形数据增强方法，利用预训练的上下文模型将数据映射到流形空间，并通过多次编码数据进行标签无关的转换，从而拓展训练数据集，为下游分类器的性能提供了一种有效的利用预训练上下文模型的方式。

Abstract

tabular data is prevalent in many critical domains, yet it is often challenging to acquire in large quantities. This scarcity usually results in poor performance of machine learning models on such data. data augmentatio

tabular data data augmentation manifold data augmentation in-context models performance improvement

发现论文，激发创造

使用预训练语言模型建模表格数据

通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），提出了一种新的名为 PTab 的框架，以将预训练模型用于建模表格数据，并取得比现有技术更好的分类效果。

Sep, 2022

TabMT：使用掩码变换器生成表格数据

本文介绍了 TabMT，一种用于生成合成表格数据的新型掩码 Transformer 设计，它有效应对异构数据字段带来的独特挑战，并能够处理缺失数据。我们评估了 TabMT 在以保护隐私为重点的应用中的性能，并发现它能够生成具有优越隐私权衡的高质量数据。

Dec, 2023

回归学习的一阶流形数据增强

研究数据增强方法在回归问题领域的应用，引入一种新的数据驱动的领域无关数据增强方法（FOMA），通过从训练分布的切平面上采样新的例子来提高神经网络的泛化能力。

Jun, 2024

TextManiA: 文本驱动流形增强的视觉特征丰富化

TextManiA 是一种文本驱动的流形增强方法，通过利用易于理解的视觉模仿词（即属性），在语义上丰富视觉特征空间，无论数据分布如何；通过在文本表示和目标视觉特征空间之间建立桥梁，并提出了一种高效的向量增强方法。实验证明 TextManiA 在稀缺样本和类别不平衡的情况下表现出强大的性能，并且与基于标签混合的方法在均匀分布的稀缺数据中兼容。

Jul, 2023

TabTransformer：使用上下文嵌入建模表格数据

TabTransformer 是一个基于自注意力变换器 (Transformer) 的深度表格数据建模架构，可应用于监督和半监督学习。经过在 15 个公开数据集上的广泛实验，我们展示了 TabTransformer 在表格数据的深度学习方法中的超越和匹配效果。同时，我们演示了从 TabTransformer 学习的环境嵌入具有高度的鲁棒性，可用于噪声和丢失形式的数据特征，提供更好的可解释性。最后，对于半监督场景，我们开发了一种无监督的预训练过程来学习数据驱动的上下文嵌入，使 AUC 平均提升 2.1%。

Dec, 2020

深度学习中针对表格数据的数据增强策略重新审视

本文提出了一种名为 $ extbf {M}$ask $ extbf {T}$oken $ extbf {R}$eplacement ($ exttt {MTR}$) 的数据增广方法，利用 Transformer 的特性对每个列嵌入进行数据增广来提高模型性能。通过在 13 个各异的公共数据集中运行受监督和自监督的学习场景，我们表明 $ exttt {MTR}$ 相对于现有数据增广方法具有竞争性能，并改善了模型性能。此外，还讨论了 $ exttt {MTR}$ 最有效的特定场景，并确定了其应用范围。

May, 2023

检索式变压器用于表格增强

本文提出了一种基于自学习的检索增强型 Transformer 模型，其用于自动数据整理以减轻数据分析师的工作量，实现适用于动态数据视图的表格数据的结构化与数据补全，数据的预处理是实现分析或构建机器学习模型时最昂贵和耗时的步骤之一。

Jun, 2023

轨迹感知主流形框架用于数据增强和图像生成

本研究通过验证在特征空间中使用主要流形分布相对于高斯分布的理论和实际优势，提出了一种新颖的轨迹感知主要流形框架，用于恢复流形骨干并沿特定轨迹生成样本。此外，通过引入一个内在维度正则化项，该框架能够使流形更紧凑，并实现少样本图像生成。实验结果表明，该框架能够提取更紧凑的流形表示，提高分类准确性，并在少样本之间生成平滑的变换。

Jul, 2023

MambaTab：处理表格数据的简洁而有效方法

发展了一种基于结构化状态空间模型（SSM）MambaTab 的创新方法，用于表格数据的端到端监督学习，相对于现有技术的基准，MambaTab 表现出更高的性能，在需要更少的参数和最小的预处理的同时经过了多样化基准数据集的实证验证，其高效性、可扩展性、普适性和预测性的增益表明其在广泛的实际应用上作为一种轻量级、即插即用的解决方案具有潜力。

Jan, 2024

TransTab: 在表格间学习可迁移的表格变换器

该研究论文提出了一种名为转移性表格变压器（TransTab）的新方法，该方法通过将表格中的每个样本（即行）转换为可推广的嵌入向量，然后应用堆叠的变压器进行特征编码，来学习来自多个表格的机器学习模型。该方法探讨了如何在训练和测试期间使用多个具有部分重叠列的表格进行机器学习模型的预测，并对预训练模型的性能进行了分析和比较。

May, 2022