可扩展的高阶张量积样条模型
本文提出了一种分布式、灵活的非线性张量分解模型,通过可避免昂贵的计算以及提供高质量推理的上限,它能够克服传统张量分解模型中的限制,并展现出在 CTR 预测方面的巨大潜力。
Apr, 2016
基于泰勒映射因式分解的高阶多项式回归方法实现了多目标回归,并能捕捉目标之间的内在关系。通过在 UCI 等开放数据集上进行基准测试,该方法表现与现有回归方法相当,并在特定任务上表现优异。
Jul, 2023
我们提出了张量多项式加法模型(TPAM),通过保留高阶输入的多维结构信息和使用分层低阶对称张量逼近来压缩模型参数,能够捕捉到复杂的高阶特征交互,并提高最高达 30%的准确性和 5 倍的压缩率,同时保持可解释性。
Jun, 2024
本文从统一的视角重新审视了多项式网络和分解机模型,提出了高效训练算法,并将参数学习作为低秩对称张量估计问题进行求解。在回归和推荐系统任务中展示了我们的方法。
Jul, 2016
提出了一种新的分类 GAMs 的方法,称为 Scalable Polynomial Additive Models (SPAM),通过多项式的张量秩分解来实现高阶特征交互,同时保证模型的可解释性和易扩展性,大幅度地优于现有的可解释方案,并在真实世界的各种基准测试中表现出与 DNN / XGBoost 相当的性能。
May, 2022
提出了一种高效的非线性建模方法,通过线性 VAR 过程和分量间非线性映射来生成时间序列,并使用定制算法解决优化问题,提高了 VAR 系数的支持识别和时间序列预测能力。
Sep, 2023
本文提出了一种基于轴向分解核积分的可学习投影运算符的因式化变压器模型 Factorized Transformer,该模型使用一维域将输入函数分解为多个子函数,用于计算基于实例的内核。我们演示了该模型在 256 x 256 网格上模拟 2D Kolmogorov 流和在 64 x 64 x 64 网格上模拟 3D 烟雾浮力的精度和效率良好。此外,我们发现使用因式化方案时,注意力矩阵的频谱比全 softmax-free 注意力矩阵更紧凑。
May, 2023
介绍了一种基于混合线性建模和子空间聚类技术的自适应、多尺度张量分解方法,旨在降低大型和多模态数据的维度和表示复杂度。该方法在多个真实张量信号的维数约简和分类问题中表现良好。
Apr, 2017
本文提出了一种基于张量分解的高效多维(可分离)卷积框架,为训练深度卷积神经网络提供了新的思路。该方法可以应用于脸部情感分析,将静态图像的分类结果应用于动态视频图像,取得了优秀的分类性能。
Jun, 2019