本文提出了一种基于神经注意力网络的模型,命名为注意力分解机,该模型通过区分不同特征交互的重要性,通过学习数据来改进了因同等加权造成的效率下降的因素分解机,实验证明改进后的注意力分解机在回归任务中相对于因素分解机有 8.6% 的相对改善,而且在结构更简单、模型参数更少的情况下一致优于最先进的深度学习方法 Wide&Deep 和 DeepCross。
Aug, 2017
本文从统一的视角重新审视了多项式网络和分解机模型,提出了高效训练算法,并将参数学习作为低秩对称张量估计问题进行求解。在回归和推荐系统任务中展示了我们的方法。
Jul, 2016
本文提出了一种用于稀疏数据预测的新型模型 Neural Factorization Machine(NFM),将因子分解机(Factorization Machines,FM)中二阶特征交互的线性性与神经网络中高阶特征交互的非线性相结合,实验证明 NFM 在深度学习方法 Wide&Deep 和 DeepCross 的基础上,使用更浅的结构却提供更好的性能,在实际中更易于训练和调节。
本篇论文提出了一种名为 eXtreme Deep Factorization Machine (xDeepFM) 的模型,它通过 Compressed Interaction Network (CIN) 生成 feature interactions,并且可以显式地和隐式地学习 variable order feature interactions,实验结果表明其优于现有的模型。
Mar, 2018
本文提出了一种基于神经网络和异质信息网络的多方面协作过滤模型,用于解决推荐系统中的信息过载问题,通过对用户和物品进行各个方面的相似度矩阵建模和深度神经网络训练,融合各个方面的潜在因素提高推荐性能。
Sep, 2019
本文提出了一个新的深度学习模型 DeepFM,既能够强调低阶特征交互,又能够强调高阶特征交互,接受的特征也不需要进行专业的工程处理。经过实验证明,DeepFM 比现有模型更有效和更高效用于 CTR 预测。
Mar, 2017
本文提出了一个新模型 FiiNet (多级特征交互重要性神经网络),该模型首先使用选择性卷积神经网络 (SKNet) 来明确构建多级特征交互,以精细的方式动态学习特征交互组合的重要性,增加重要特征交叉组合的注意权重并减少无效的交叉,通过与许多点击率预测模型在两个真实数据集上的对比,证明了 FiiNet 模型可以动态学习特征交互组合的重要性,从而提高推荐效果并提供更好的解释性。FiiNet 模型实现可在 PyTorch 中获取。
May, 2024
本文提出了一个自动特征交互选择的两阶段算法(AutoFIS)来改进推荐系统中的 CTR 预测。该算法可以基于因子分解模型自动识别重要的特征交互,从而显著提高了各种基于 FM 的模型的性能。
Mar, 2020
本文介绍了一种新型深度神经网络 ——Deep & Cross Network (DCN),能够在保留 DNN 模型优势的基础上,引入有效的交叉网络来学习有限次数特征交互,不需要进行手动特征工程,且几乎不会增加 DNN 模型的复杂性,针对 CTR 预测数据集和密集分类数据集进行了实验,结果表明该模型在模型精度和内存使用方面都优于当前最先进的算法。
研究人员通过实验证明自适应融合规范化在领域泛化和图像分类任务中的表现优于之前的规范化技术。
Aug, 2023