Nov, 2023

制表深度学习特征选择性能驱动基准

PDF
TL;DR通过使用真实数据集和多种生成多余特征的方法，我们构建了一个具有挑战性的特征选择基准，对包括 Transformer 在内的下游神经网络进行评估，同时提出了一种基于输入梯度的神经网络 Lasso 变体，相较于经典的特征选择方法在选择受损或二阶特征的挑战性问题上表现出更好的性能。
tabular benchmarksdata scientistsautomated feature selection methodstabular deep learningneural networks
发现论文，激发创造
  • 特征选择作为深度顺序生成学习

    我们提出了一种深度序列生成学习方法来进行特征选择，该方法通过学习连续嵌入空间，将特征选择决策序列映射为与效用分数相关的嵌入向量，从而解决了传统方法中存在的离散搜索空间和专家特定超参数的问题。

    Mar, 2024

  • 深度学习在表格数据上的研究

    通过一个全面的基准测试，本文研究了深度表格方法和基于树的方法在各种任务类型、大小分布和领域中的性能排名以及影响深度表格方法成功的关键因素，并提取了对预测准确性起决定性作用的元特征。这些研究将进一步促进表格数据的研究。

    Jul, 2024

  • AutoField: 深度推荐系统中的特征选择自动化

    本文提出了一种自适应选择重要特征字段的 AutoML 框架，该框架设计了一个可微的控制器网络，通过自动调整选择特定特征字段的概率来重新训练深度推荐模型，实验证明了该框架的有效性。

    Apr, 2022

  • 评估机器学习模型在表格数据上的数据中心视角

    通过从 Kaggle 竞赛中选择 10 个相关数据集，实现专家级预处理流程，并进行实验以量化模型选择、超参数优化、特征工程和测试时间适应的影响，我们的主要发现是：1. 数据集特定的特征工程后，模型排名发生了显著变化，性能差异减小，模型选择的重要性降低。2. 最新模型虽然取得了可衡量的进步，但仍然极大受益于手动特征工程，这对基于树的模型和神经网络都适用。3. 虽然通常认为表格数据是静态的，但样本经常随着时间的推移而收集，适应分布的变化即使在所谓的静态数据中也很重要。这些观点表明研究应关注数据为中心的视角，承认表格数据需要特征工程，并且通常具有时间特性。

    Jul, 2024

  • TabReD：一个野外表格机器学习基准

    本文研究了标准机器学习中现成的表格式基准数据集存在的问题，并引入了 TabReD 数据集以填补学术基准数据集的不足之处，以此评估不同 ML 模型在时间演化的数据环境中的表现。结果表明，基于时间的数据划分与学术基准数据集中的随机划分会导致不同的方法排名，MLP 类的架构和 GBDT 模型在 TabReD 数据集上展现出最佳结果，而更复杂的深度学习模型还需进一步证明其有效性。

    Jun, 2024

  • 无模型特征选择以促进表格数据中发现不同子组

    该论文提出了一个面向数据的 AI 框架，可以自动选择重要特征，实现自动发现不同的数据子组并提高检测性能。通过在 MIMIC-III 和 Allstate Claims 公开数据集上的验证，该框架比现有的六种特征选择方法减少了 81 倍和 104 倍的特征选择时间，并实现了有竞争力的检测性能。

    Mar, 2022

  • 表格数据的自动模型选择

    该研究论文提出了两种自动化模型选择方法，分别是基于优先级的随机网格搜索和贪婪搜索方法，应用于包含特征交互的表格数据集，有效捕获预测性特征组合。

    Jan, 2024

  • 表格数据的注意力对比学习 - 数据中心的基准测试

    通过对 28 个表格数据集的广泛评估，本文介绍了在传统深度学习与机器学习基线上，在各个表格数据集上实现卓越性能的注意力和对比学习方法，以促进该领域的进一步发展。

    Jan, 2024

  • 深度神经网络选择性分类基准测试

    通过对包含图像和表格数据的多样化数据集进行实证评估，该研究对 18 种基线模型进行基准测试，比较了它们在选择错误率、实证覆盖率、被拒绝实例类别分布以及在分布外实例上的性能等多个方面的表现，结果显示没有一个明确的最佳方法，最好的方法取决于用户的目标。

    Jan, 2024

  • 树状模型在表格数据上为何仍然优于深度学习？

    通过与传统树模型如 XGBoost 和随机森林的对比，研究发现，对于中等大小数据集（约 10K 个样本），树模型仍然是当前在表格数据上的最佳选择；研究还提出了神经网络在表格数据上建模的若干挑战，并为后续研究提供基准测试数据和计算资源。

    Jul, 2022