基于神经网络的稀疏预测分析的因子分解机

Aug, 2017

基于神经网络的稀疏预测分析的因子分解机

Neural Factorization Machines for Sparse Predictive Analytics

Xiangnan He, Tat-Seng Chua

TL;DR本文提出了一种用于稀疏数据预测的新型模型 Neural Factorization Machine（NFM），将因子分解机（Factorization Machines，FM）中二阶特征交互的线性性与神经网络中高阶特征交互的非线性相结合，实验证明 NFM 在深度学习方法 Wide&Deep 和 DeepCross 的基础上，使用更浅的结构却提供更好的性能，在实际中更易于训练和调节。

Abstract

Many predictive tasks of web applications need to model categorical variables, such as user IDs and demographics like genders and occupations. To apply standard machine learning techniques, these categorical predictors are always converted to a set of binary features via one-hot encodi

factorization machines neural factorization machine sparse data non-linear feature interactions machine learning

发现论文，激发创造

面向时间预测分析的序列感知分解机

本文提出一种名为 SeqFM 的新型基于因子分解机的模型，可以完全考虑动态特征之间的因果依赖关系，通过多视角自注意力模型分别建模静态特征、动态特征和静态动态特征的交互作用，完成时序预测分析任务。在六个大规模数据集上的实验结果表明，SeqFM 在排名、分类和回归任务方面都具有优异的效能和效率。

Nov, 2019

基于因子分解机的神经网络用于 CTR 预测的 DeepFM

本文提出了一个新的深度学习模型 DeepFM，既能够强调低阶特征交互，又能够强调高阶特征交互，接受的特征也不需要进行专业的工程处理。经过实验证明，DeepFM 比现有模型更有效和更高效用于 CTR 预测。

Mar, 2017

GraphFM：用于特征交互建模的图形因子分解机

本论文提出了一种基于图形结构和 GNN 特征汇聚策略相结合的 Graph Factorization Machine 方法，可以在处理高维度稀疏数据时有效地建模任意高阶特征交互，并具有优异的预测准确性。

May, 2021

利用注意力网络学习特征交互权重的注意力分解机

本文提出了一种基于神经注意力网络的模型，命名为注意力分解机，该模型通过区分不同特征交互的重要性，通过学习数据来改进了因同等加权造成的效率下降的因素分解机，实验证明改进后的注意力分解机在回归任务中相对于因素分解机有 8.6% 的相对改善，而且在结构更简单、模型参数更少的情况下一致优于最先进的深度学习方法 Wide&Deep 和 DeepCross。

Aug, 2017

fastFM: 因子分解机的库

本文介绍因子分解机及其在机器学习、推荐系统、处理稀疏高维特征等领域的应用。作者提供了一个易用的因子分解机实现，支持回归、分类和排序等任务，为这一模型在广泛的应用领域提供了便利和潜力。

May, 2015

大规模推荐系统中用于偏好获取的变分因子机

本文提出了一种用于大规模数据的变分 Factorization Machines 算法，通过标准的 Mini-Batch 随机梯度下降法实现优化，从而为预测结果提供可靠的置信度，并在多个数据集上展示了其在预测准确性上具有与现有方法相媲美甚至更好的性能，同时提出了在偏好调查技术等活动策略中的应用。

Dec, 2022

神经网络矩阵分解

本文介绍一种基于神经网络与矩阵分解的方法，使用最优化技术得到潜在特征向量并据此构建神经网络，进而代替传统内积的矩阵分解方法，从而在一些测试数据集上达到更好的效果。

Nov, 2015

RaFM: 一种基于排名感知的分解机模型

提出一种名为 Rank-Aware FM 的模型，该模型使用不同排名的嵌入对成对交互进行采用，从而在具有显着变化频率的不同特征的实际数据集上实现更好的性能，提高了回归任务和分类任务的性能，同时增加了较少的计算负担，因此在工业应用中也具有吸引力潜力

May, 2019

$FM^2$: 推荐系统中的场 - 矩阵分解机

该研究提出了一种新的方法，名为 Field-matrixed Factorization Machines（FmFM，或 FM^2），用于有效和高效地建模数据中的字段信息，在交叉项剪枝的基础上支持字段特定变量维度的嵌入向量，并通过缓存中间向量进一步优化模型，实验结果显示该方法可以优于 FFM 和 DNN 模型。

Feb, 2021

xDeepFM: 结合显式和隐式特征交互的推荐系统

本篇论文提出了一种名为 eXtreme Deep Factorization Machine （xDeepFM）的模型，它通过 Compressed Interaction Network （CIN）生成 feature interactions，并且可以显式地和隐式地学习 variable order feature interactions，实验结果表明其优于现有的模型。

Mar, 2018