Aug, 2023

FeatGeNN：基于相关性特征提取的表格数据模型性能改进

PDF
TL;DR自动特征工程（AutoFE）是任何机器学习项目的重要任务，可以帮助改善模型性能并为统计分析提供更多信息。为了解决当前 AutoFE 方法中存在的手动特征创建和特征数量过多问题，我们提出了一种基于相关性的卷积方法 ——FeatGeNN。我们在各种基准数据集上评估了我们的方法，并证明 FeatGeNN 在模型性能方面优于现有的 AutoFE 方法。我们的结果表明，在表格数据应用中，基于相关性的池化可以成为 AutoFE 中替代 max-pooling 的有前景的选择。
automated feature engineeringautofeconvolutional methodcorrelation-based poolingtabular data
发现论文，激发创造
  • FeatNavigator：对表格数据的自动特征增强

    数据中心的人工智能通过探索和整合关系表中的高质量特征用于机器学习模型，提高模型性能，并在五个公共数据集上优于最先进的解决方案达到 40.1% 的提升。

    Jun, 2024

  • 通过图神经网络探索结构特征相关性的 Fea2Fea 算法

    本文探讨基于图神经网络的结构特征相关性分析，并使用低维空间的图特征到结构特征预测管道探索结构特征相关性的初步结果，结果表明某些结构特征之间存在高相关性，通过过滤的捷径特征组合及其分类准确度在某些基于图的任务中得到了提高。文章还比较了嵌入式连接的不同拼接方法，并论证了在合成几何图上的预测难度之间的结果差异。

    Jun, 2021

  • FeatAug: 从一对多关系表中自动进行特征增强

    特征增强是机器学习模型开发中的一个关键问题，该论文提出了一种新的特征增强框架 FEATAUG，该框架可以从一对多关系表中自动提取谓词感知的 SQL 查询，并通过超参数优化和 Beam 搜索等技术提高算法性能。

    Mar, 2024

  • 通过感知交互意识的自动转换提升特征认知能力

    通过引入一种交互感知的增强生成视角，我们重新定义特征空间重建为通过选择创建有意义的特征和控制特征集大小的嵌套过程，从而自动化特征和操作的选择以及特征交叉。通过结合统计度量，我们基于所选特征之间的相互作用强度奖励智能体，实现了对特征空间的智能和高效的探索，从而模拟人体决策过程。通过进行大量实验证实了我们提出的方法。

    Sep, 2023

  • 卷积神经网络特征学习机制

    理解卷积神经网络从图像数据中学习特征的机制是机器学习和计算机视觉中的一个基本问题。本研究提出了卷积神经特征假设并通过实证和理论论证，证明了滤波器的协方差与输入层的补丁平均梯度外积具有高度相关性。此外，研究通过基于补丁平均梯度外积的 (深度) ConvRFM 算法在卷积核机器中实现了深层特征学习，克服了卷积核的局部自适应性限制，并在性能上取得了显著提升。

    Sep, 2023

  • 制表深度学习特征选择性能驱动基准

    通过使用真实数据集和多种生成多余特征的方法，我们构建了一个具有挑战性的特征选择基准，对包括 Transformer 在内的下游神经网络进行评估，同时提出了一种基于输入梯度的神经网络 Lasso 变体，相较于经典的特征选择方法在选择受损或二阶特征的挑战性问题上表现出更好的性能。

    Nov, 2023

  • 基于局部对比的表格数据特征学习

    本文提出了一种新的本地对比特征学习（LoCL）框架，其主题是从表格数据中学习本地模式 / 特征。利用特征相关性创建最大生成树并将其分解，使用卷积学习特征，受对比和重构损失控制，与其他领先方法相比在公共表格数据集上实验表明提出的方法的有效性。

    Nov, 2022

  • 自动 FP：针对表格数据的自动特征预处理的实验研究

    通过分析 15 种算法在 45 个公开的机器学习数据集上的综合评估和分析，研究表明 Auto-FP 问题可以用超参数优化 (HPO) 或神经架构搜索 (NAS) 问题来建模，演化算法在平均排名上表现最好，随机搜索是一个强有力的基准线，许多基于代理模型和赌博算法搜索的算法并没有超过随机搜索在 Auto-FP 方面的性能。

    Oct, 2023

  • 卷积神经网络生成点击率预测特征

    本文介绍了一种基于卷积神经网络的特征生成模型（FGCNN），旨在通过将局部模式结合来生成新特征，以提高深度学习模型中点击率预测的性能。实验结果表明，FGCNN 显著优于九种最先进的模型，并表明当使用某些最先进的模型作为深度分类器时，总是可以获得更好的性能。

    Apr, 2019

  • MACFE: 基于元学习和因果推断的特征工程框架

    该论文提出了一种基于元学习和因果特征选择的特征工程方法，名为 MACFE，通过预选择具有因果关系的原始特征来加速搜索，并在多个分类数据集上实验证明其可以显著提高预测性能。

    Jul, 2022