深度稀疏网络的混合级特征交互选择

Oct, 2023

深度稀疏网络的混合级特征交互选择

Towards Hybrid-grained Feature Interaction Selection for Deep Sparse Network

Fuyuan Lyu, Xing Tang, Dugang Liu, Chen Ma, Weihong Luo...

TL;DR研究了稀疏深度网络作为高维稀疏特征的预测任务的神经网络架构，并引入了一种混合粒度的特征交互选择方法，该方法同时针对特征域和特征值进行选择，通过实验结果证明该方法在准确性和效率方面表现出色。

Abstract

deep sparse networks are widely investigated as a neural network architecture for prediction tasks with high-dimensional sparse features, with which feature interaction selection is a critical component. While previous methods primarily focus on how to search feature interaction in a c

deep sparse networks feature interaction selection hybrid-grained approach optfeature accuracy and efficiency

发现论文，激发创造

高效特征提取的稀疏张量生成器

我们开发了一个智能稀疏张量生成器，模拟了真实稀疏张量的重要特征，并提出了多种有效的稀疏张量特征提取方法。

May, 2024

AdaEnsemble：针对点击率预测学习自适应稀疏结构化集成网络

为了提高推荐系统和广告排名中的大规模 CTR 预测成功率，本文提出了一种名为 AdaEnsemble 的 SparseMoE 架构，该架构可以利用异构特征交互专家的优势，并自适应地学习每个示例的稀疏专家组合的路由，从而构建不同类型和顺序的特征交互的动态分层结构。

Jan, 2023

基于数据驱动的深度神经网络稀疏结构选择

本文提出了一种简单有效的框架来对深度模型进行端到端的剪枝，方法是先引入一个称为 “缩放因子” 的新参数来缩放特定结构的输出，然后对这些因子加入稀疏正则化，并通过修改的随机加速远端梯度（APG）方法解决这个优化问题。将某些因子强制为零，可以安全地移除对应的结构，从而削减 CNN 的不重要部分，该方法相较于其他需要数千次试验或迭代微调的结构选择方法具有更好的性能。

Jul, 2017

无限维特征交互

通过引入 RBF 核函数创建的无限维空间，InfiNet 模型实现了特征之间的无限维交互作用，从而显著提高了模型性能，达到了新的最先进水平。

May, 2024

为推荐系统检测有效特征交互

利用图神经网络方法和基于 L0 激活正则化的边缘预测技术，自动检测有益于提升推荐准确性的特征交互作用，取得了比现有方法更好的准确性表现。

Aug, 2020

大规模学习分层互动：凸优化方法

提出了一种基于凸松弛和近端梯度下降的高度可扩展算法，该算法采用了新的筛选规则和专门的激活集策略，能够处理具有密集设计矩阵的问题，并在预测和变量选择方面优于当前技术水平。

Feb, 2019

通过感知交互意识的自动转换提升特征认知能力

通过引入一种交互感知的增强生成视角，我们重新定义特征空间重建为通过选择创建有意义的特征和控制特征集大小的嵌套过程，从而自动化特征和操作的选择以及特征交叉。通过结合统计度量，我们基于所选特征之间的相互作用强度奖励智能体，实现了对特征空间的智能和高效的探索，从而模拟人体决策过程。通过进行大量实验证实了我们提出的方法。

Sep, 2023

模型、数据和特征的联合交互

通过引入交互张量来分析数据和模型的特征交互，我们提出了特征学习的概念框架，并在其基础上推导了一些理论结果，包括解释广义推广误差相等性等现象的理论构建，从而增进我们对特征学习的理解。

Jun, 2023

特征选择作为深度顺序生成学习

我们提出了一种深度序列生成学习方法来进行特征选择，该方法通过学习连续嵌入空间，将特征选择决策序列映射为与效用分数相关的嵌入向量，从而解决了传统方法中存在的离散搜索空间和专家特定超参数的问题。

Mar, 2024

数据中心的 AI：利用离散子集作为连续嵌入空间优化的深度生成可微特征选择

通过将离散特征子集转换为连续嵌入空间优化的方法，我们提出了一种新的深度可微特征选择任务，实现了一种通用和原则性的框架，该框架包括深度特征子集编码器，准确性评估器，解码器和梯度上升优化器。

Feb, 2023