May, 2023

深度学习中针对表格数据的数据增强策略重新审视

PDF
TL;DR本文提出了一种名为 $ extbf {M}$ask $ extbf {T}$oken $ extbf {R}$eplacement ($ exttt {MTR}$) 的数据增广方法，利用 Transformer 的特性对每个列嵌入进行数据增广来提高模型性能。通过在 13 个各异的公共数据集中运行受监督和自监督的学习场景，我们表明 $ exttt {MTR}$ 相对于现有数据增广方法具有竞争性能，并改善了模型性能。此外，还讨论了 $ exttt {MTR}$ 最有效的特定场景，并确定了其应用范围。
发现论文，激发创造
  • 检索式变压器用于表格增强

    本文提出了一种基于自学习的检索增强型 Transformer 模型，其用于自动数据整理以减轻数据分析师的工作量，实现适用于动态数据视图的表格数据的结构化与数据补全，数据的预处理是实现分析或构建机器学习模型时最昂贵和耗时的步骤之一。

    Jun, 2023

  • TabMT：使用掩码变换器生成表格数据

    本文介绍了 TabMT，一种用于生成合成表格数据的新型掩码 Transformer 设计，它有效应对异构数据字段带来的独特挑战，并能够处理缺失数据。我们评估了 TabMT 在以保护隐私为重点的应用中的性能，并发现它能够生成具有优越隐私权衡的高质量数据。

    Dec, 2023

  • 基于表格数据的深度学习：一种自监督方法

    使用自监督学习的 TabTransformer 模型，通过描述一种新颖的表格数据训练方法，提高了对分类和数值特征的建模能力。通过对比传统机器学习模型和自监督学习方法，研究结果显示 TabTransformer 在表格数据上的性能优势。

    Jan, 2024

  • 基于语法的命名实体识别数据增强

    本研究探讨了在低资源条件下如何使用数据增强技术来提高命名实体识别任务的性能，并比较了简单的掩码语言模型替换和基于句法树变异的数据增强方法，以保持增强后句子的语言连贯性。

    Aug, 2022

  • 探究基于掩码的语言模型数据生成

    本文旨在探讨基于掩码语言模型的数据增强方法在自然语言处理领域的广泛应用及提高模型性能的有效性，以及近期对该模型在生成人工扩充数据方面的应用及实验结果。

    Jun, 2023

  • 自助式交叉表格表示学习的扩展实验

    为了分析深度表格表示学习模型的扩展潜力，我们引入了一种专门针对表格数据的基于 Transformer 的架构，通过利用表格特定的分词器和共享的 Transformer 主干来进行交叉表格表示学习。我们的训练方法包括单表和交叉表格模型，通过自我监督的掩码式单元恢复目标进行缺失值填充。为了了解我们方法的扩展行为，我们训练了不同规模的模型，参数范围从大约 $10^4$ 到 $10^7$。这些模型在精心策划的预训练数据集上进行训练，包含来自 76 个不同数据集的 135M 个训练令牌。通过使用线性推测在精心策划的基准数据集上评估预训练模型并与传统基准进行比较，我们评估了我们架构在单表和交叉表格预训练设置中的扩展性。

    Sep, 2023

  • 迭代掩码填充：一种使用掩码语言建模的有效文本增强方法

    我们提出了一种利用基于变压器的 BERT 模型的填充掩码特性的新型文本增强方法，该方法在句子中迭代遮盖单词并使用语言模型预测替换它们。我们在各种 NLP 任务上测试了我们提出的方法，并发现它在许多情况下都是有效的。我们将我们的结果与现有的增强方法进行了比较，并实验结果表明我们提出的方法显著提高了性能，尤其是在主题分类数据集上。

    Jan, 2024

  • TransTab: 在表格间学习可迁移的表格变换器

    该研究论文提出了一种名为转移性表格变压器（TransTab）的新方法，该方法通过将表格中的每个样本（即行）转换为可推广的嵌入向量，然后应用堆叠的变压器进行特征编码，来学习来自多个表格的机器学习模型。该方法探讨了如何在训练和测试期间使用多个具有部分重叠列的表格进行机器学习模型的预测，并对预训练模型的性能进行了分析和比较。

    May, 2022

  • 探索数据扩增在自监督 / 半监督 / 全监督预训练模型上的应用

    数据增强已成为视觉预训练模型的标准组成部分，用于捕捉增强视图之间的不变性。本研究通过实证研究来量化数据增强对性能的影响，发现图像的区域遮盖减少了学到的特征嵌入的不变性，同时提供了更多的多样性。手动注释不会改变学到的特征嵌入的不变性或多样性。MixUp 方法在多样性方面得到了显著改善，对不变性只有轻微的降低。

    Oct, 2023

  • TabMDA：使用上下文子集的 Transformers 进行任何分类器的表格流形数据增强

    TabMDA 是一种用于表格数据的流形数据增强方法，利用预训练的上下文模型将数据映射到流形空间，并通过多次编码数据进行标签无关的转换，从而拓展训练数据集，为下游分类器的性能提供了一种有效的利用预训练上下文模型的方式。

    Jun, 2024