TMPNN:基于 Taylor 映射分解的高阶多项式回归
本文从统一的视角重新审视了多项式网络和分解机模型,提出了高效训练算法,并将参数学习作为低秩对称张量估计问题进行求解。在回归和推荐系统任务中展示了我们的方法。
Jul, 2016
我们提出了张量多项式加法模型(TPAM),通过保留高阶输入的多维结构信息和使用分层低阶对称张量逼近来压缩模型参数,能够捕捉到复杂的高阶特征交互,并提高最高达 30%的准确性和 5 倍的压缩率,同时保持可解释性。
Jun, 2024
在当前海量数据和透明机器学习的时代,为了在大规模操作的同时提供对方法内部工作的清晰数学理解,本论文提出了一种使用因子化方法来导出高度可扩展的高阶张量乘积样条模型的新方法,以解决目前大规模应用中可解释的半参数回归方法在模型复杂度和交互作用缺失方面的局限性,同时保持计算成本与无交互作用模型相比成比例,我们还开发了一种有意义的惩罚策略并研究了引发的优化问题,并通过评估我们的方法的预测和估计性能来总结。
Feb, 2024
通过提取和总结有用的预测信息(由 “因子张量” 表示)并利用张量分解模型将其输入到时间卷积神经网络中,本研究提出了一种因子增强的张量对张量神经网络(FATTNN)。该方法能够处理复杂数据结构之间的非线性关系,并在预测准确性和计算成本方面优于传统的统计模型和常规的深度学习方法。通过利用张量分解模型,提出的方法在提高预测准确性的同时,大幅度减少了数据维度从而加快了计算速度。通过模拟研究和对三个公共数据集的实际应用,验证了提出方法的实证性能,数值结果表明,与基准方法相比,提出的算法在预测准确性方面取得了显著的增加,并且计算时间显著减少。
May, 2024
本文介绍了将因子分解机和多项式网络拓展应用到多输出设置的方法,并提出了一种基于共同基础的三维张量的学习问题的凸形式,进一步提出一种高效的条件梯度算法以解决该问题,并在分类和推荐任务中通过实验验证了其良好的性能和较稀疏的模型。
May, 2017
通过收集和提出乘性神经网络 (MNN) 的架构作为递归构建块,本文在多项式时间步更新领域进行了模拟元模型的研究,实验证明了 MNN 在泛化能力上优于基准模型,并针对流行病学模拟模型展示了 MNN 的归纳偏差,即学习和泛化高阶多项式。
Jul, 2023
本文提出了一种分布式、灵活的非线性张量分解模型,通过可避免昂贵的计算以及提供高质量推理的上限,它能够克服传统张量分解模型中的限制,并展现出在 CTR 预测方面的巨大潜力。
Apr, 2016
本文研究了稀疏计数数据的多线性建模问题,提出了一个以泊松分布为假设的描述性张量分解模型和相应的算法和理论,并介绍了一种基于主导极小化方法的泊松张量分解算法,称为 CP-APR,并在几个数据集上的结果得到了验证。
Dec, 2011
本文提出了一种基于张量分解的高效多维(可分离)卷积框架,为训练深度卷积神经网络提供了新的思路。该方法可以应用于脸部情感分析,将静态图像的分类结果应用于动态视频图像,取得了优秀的分类性能。
Jun, 2019
该文介绍了一种新的回归算法,它学习线性因子函数,并解决了维度灾难的问题,可用于信念传播和强化学习等应用。通过正则化的贪心优化方案,在训练期间学习因子基函数。新的回归算法在基准任务上表现竞争力,学习的线性因子函数相当精简。
Dec, 2014