KDDNov, 2023

基于工业规模数据的建模表格数据的 Transformers 的比较分析

PDF
TL;DR通过对工业规模数据集的比较分析，本研究旨在解决高维数据处理、范畴和数值特征的高效预处理以及计算需求等问题，并提供了关于数据预处理、预训练和直接监督学习方法的比较，以及管理计算资源和性能之间的权衡策略。着重于金融时间序列数据建模，旨在促进变压器模型在实际应用场景中的系统开发和部署，强调扩展性。
发现论文，激发创造
  • 用表格转换器对多元时间序列进行建模

    本研究利用深度学习算法构建神经网络模型，对具有层级结构的表格时间序列进行表示学习，提供了一种类似于 BERT 的预训练模型以及类似于 GPT 的合成模型，并在信用卡诈骗检测和空气污染浓度预测两个领域应用验证了模型的效果。

    Nov, 2020

  • 面向所有时间序列的单一 Transformer：使用时间相关异构列表数据进行表征和训练

    本文提出了一种 Transformer 架构以表示混杂的时间依赖型表格数据，其中数值特征使用一组频函数表示，并且整个网络使用唯一的损失函数均匀训练。

    Feb, 2023

  • 使用表格语言模型在工业表格中进行命名实体识别

    本文研究如何将基于 transformer 的模型应用于工业级别的表格数据中的实体识别问题，并开发了一种专用的表格数据增强策略来提高性能，实验证明表格的归纳偏差对于 transformer-based 模型的收敛至关重要。

    Sep, 2022

  • 基于表格数据的深度学习：一种自监督方法

    使用自监督学习的 TabTransformer 模型，通过描述一种新颖的表格数据训练方法，提高了对分类和数值特征的建模能力。通过对比传统机器学习模型和自监督学习方法，研究结果显示 TabTransformer 在表格数据上的性能优势。

    Jan, 2024

  • 时间序列中的 Transformers: 一项综述

    本文系统地回顾了 Transformer 在时间序列建模中的运用，总结了其优点、局限性以及在网络结构、应用方面的适应性和修改，并对常见的时间序列任务进行了分类，包括预测、异常检测和分类。通过实证分析，研究了 Transformer 在时间序列中的表现，并提出了未来研究方向。这是第一篇全面系统地总结 Transformer 近期在时间序列数据建模领域进展的论文。

    Feb, 2022

  • Transformer 多变量预测：多多益善？

    本研究提出了一种使用 PCA 增强的新型 Transformer 预测框架，以降低冗余信息、提高预测准确性并优化运行时间效率。通过与其他五个先进模型和四个真实世界数据集的评估结果显示，该框架能够在所有模型和数据集上最小化预测误差，并显著降低运行时间。其中 PCA+Crossformer 模型平均减少均方误差（MSE）33.3% 并缩短运行时间 49.2%。在电力数据集上，该框架降低 MSE 14.3% 和运行时间 76.6%；在交通数据集上，降低 MSE 4.8% 和运行时间 86.9%。本研究旨在推进各种先进模型，增强基于 Transformer 的时间序列预测能力，以适用于复杂数据。

    Dec, 2023

  • TransTab: 在表格间学习可迁移的表格变换器

    该研究论文提出了一种名为转移性表格变压器（TransTab）的新方法，该方法通过将表格中的每个样本（即行）转换为可推广的嵌入向量，然后应用堆叠的变压器进行特征编码，来学习来自多个表格的机器学习模型。该方法探讨了如何在训练和测试期间使用多个具有部分重叠列的表格进行机器学习模型的预测，并对预训练模型的性能进行了分析和比较。

    May, 2022

  • 评估机器学习模型在表格数据上的数据中心视角

    通过从 Kaggle 竞赛中选择 10 个相关数据集，实现专家级预处理流程，并进行实验以量化模型选择、超参数优化、特征工程和测试时间适应的影响，我们的主要发现是：1. 数据集特定的特征工程后，模型排名发生了显著变化，性能差异减小，模型选择的重要性降低。2. 最新模型虽然取得了可衡量的进步，但仍然极大受益于手动特征工程，这对基于树的模型和神经网络都适用。3. 虽然通常认为表格数据是静态的，但样本经常随着时间的推移而收集，适应分布的变化即使在所谓的静态数据中也很重要。这些观点表明研究应关注数据为中心的视角，承认表格数据需要特征工程，并且通常具有时间特性。

    Jul, 2024

  • 基于 Transformer 神经网络的公平分类：教育领域案例研究

    本论文旨在研究机器学习模型在教育领域的应用中可能存在的偏见以及公平性问题，并通过对转换神经网络模型在两个表格数据集中的应用实践，展示了公平性和分类性能之间的权衡关系。

    Jun, 2022

  • XTab：跨表预训练技术用于表格 Transformer 模型

    本研究提出了一个名为 XTab 的跨表格预训练框架，使用自监督学习算法来提高多种数据集上的表格变换器的泛化性、学习速度和性能，并通过联邦学习解决了跨表不一致的挑战。

    May, 2023