May, 2024

TFWT：具有 Transformer 的表格特征权重

PDF
TL;DR本文提出了一种新颖的特征加权方法来解决现有的表格数据特征处理方法的局限性。通过采用 Transformer 捕捉复杂的特征依赖关系并为离散和连续特征分配适当的权重，再结合强化学习策略对权重进行微调，我们的 TFWT 方法在各种真实数据集和不同下游任务上获得了令人满意的实验结果，凸显了在表格数据分析中增强特征加权的潜力。
feature weightingtabular datatransformerreinforcement learningexperimental results
发现论文，激发创造
  • 特征选择小样本表格生物医学数据的重量预测网络

    针对高维、小样本的表格型生物医学数据，我们提出了一种 Weight Predictor Network with Feature Selection（WPFS）神经网络。该网络通过特征选择和参数减少来学习高维、小样本数据，具有较好的性能，并提供了有用的学习洞察。

    Nov, 2022

  • 基于 FT-TABPFN 模型的表格分类的标记化特征增强

    传统的表格分类方法通常依赖于从头开始的有监督学习，需要大量训练数据来确定模型参数。然而，一种名为 Prior-Data Fitted Networks（TabPFN）的新方法改变了这一范式。TabPFN 使用在大型合成数据集上进行训练的 12 层变压器来学习通用的表格表示。这种方法能够通过单次前向传递快速和准确地对新任务进行预测，且无需额外的训练。虽然 TabPFN 在小型数据集上表现出色，但处理分类特征时通常表现较弱。为了克服这一限制，我们提出了 FT-TabPFN，它是 TabPFN 的增强版本，包括了一种新颖的特征标记化层来更好地处理分类特征。通过针对下游任务进行微调，FT-TabPFN 不仅扩展了原始模型的功能，而且在表格分类中显著提高了其适用性和准确性。我们的完整源代码可供社区使用和开发。

    Jun, 2024

  • 使用循环快速权重编程器超越线性变压器

    通过在快速和慢速神经网络中加入循环来探索新的变化形式，提出一种新颖的循环快速权重编程模型（RFWPs），并在两个合成算法任务，语言模型和 Atari 2600 2D 游戏环境中评估了模型的效果。

    Jun, 2021

  • 基于表格数据的深度学习：一种自监督方法

    使用自监督学习的 TabTransformer 模型，通过描述一种新颖的表格数据训练方法，提高了对分类和数值特征的建模能力。通过对比传统机器学习模型和自监督学习方法，研究结果显示 TabTransformer 在表格数据上的性能优势。

    Jan, 2024

  • TabTransformer：使用上下文嵌入建模表格数据

    TabTransformer 是一个基于自注意力变换器 (Transformer) 的深度表格数据建模架构，可应用于监督和半监督学习。经过在 15 个公开数据集上的广泛实验，我们展示了 TabTransformer 在表格数据的深度学习方法中的超越和匹配效果。同时，我们演示了从 TabTransformer 学习的环境嵌入具有高度的鲁棒性，可用于噪声和丢失形式的数据特征，提供更好的可解释性。最后，对于半监督场景，我们开发了一种无监督的预训练过程来学习数据驱动的上下文嵌入，使 AUC 平均提升 2.1%。

    Dec, 2020

  • TransTab: 在表格间学习可迁移的表格变换器

    该研究论文提出了一种名为转移性表格变压器（TransTab）的新方法，该方法通过将表格中的每个样本（即行）转换为可推广的嵌入向量，然后应用堆叠的变压器进行特征编码，来学习来自多个表格的机器学习模型。该方法探讨了如何在训练和测试期间使用多个具有部分重叠列的表格进行机器学习模型的预测，并对预训练模型的性能进行了分析和比较。

    May, 2022

  • 跨任务学习的加权训练

    本文引入了面向目标的加权训练 (TAWT)，一个基于最小化源任务和目标任务之间的表示距离的交叉任务学习的加权训练算法。通过使用自然语言处理（NLP）中的四个序列标记任务来进行广泛的实验，表明 TAWT 易于实现，具有计算效率，需要很少的超参数调整，并享有非渐近学习理论保证。同时提出的基于表示的任务距离能够以理论上的方式去考虑交叉任务学习的几个关键方面，例如源数据的选择和微调的影响。

    May, 2021

  • 面向所有时间序列的单一 Transformer：使用时间相关异构列表数据进行表征和训练

    本文提出了一种 Transformer 架构以表示混杂的时间依赖型表格数据，其中数值特征使用一组频函数表示，并且整个网络使用唯一的损失函数均匀训练。

    Feb, 2023

  • 重新思考分布移动下的深度学习重要性加权

    本文研究分布偏移问题下，重要性加权在复杂数据上无法良好运作的原因，并提出了一种基于动态重要性加权的端到端解决方案。实验表明，该方法能够与现有最先进的方法相媲美。

    Jun, 2020

  • XTab：跨表预训练技术用于表格 Transformer 模型

    本研究提出了一个名为 XTab 的跨表格预训练框架，使用自监督学习算法来提高多种数据集上的表格变换器的泛化性、学习速度和性能，并通过联邦学习解决了跨表不一致的挑战。

    May, 2023