张量多项式加法模型
提出了一种新的分类 GAMs 的方法,称为 Scalable Polynomial Additive Models (SPAM),通过多项式的张量秩分解来实现高阶特征交互,同时保证模型的可解释性和易扩展性,大幅度地优于现有的可解释方案,并在真实世界的各种基准测试中表现出与 DNN / XGBoost 相当的性能。
May, 2022
基于泰勒映射因式分解的高阶多项式回归方法实现了多目标回归,并能捕捉目标之间的内在关系。通过在 UCI 等开放数据集上进行基准测试,该方法表现与现有回归方法相当,并在特定任务上表现优异。
Jul, 2023
在当前海量数据和透明机器学习的时代,为了在大规模操作的同时提供对方法内部工作的清晰数学理解,本论文提出了一种使用因子化方法来导出高度可扩展的高阶张量乘积样条模型的新方法,以解决目前大规模应用中可解释的半参数回归方法在模型复杂度和交互作用缺失方面的局限性,同时保持计算成本与无交互作用模型相比成比例,我们还开发了一种有意义的惩罚策略并研究了引发的优化问题,并通过评估我们的方法的预测和估计性能来总结。
Feb, 2024
神经外包模型(NAMs)的发展标志着可解释的深度学习在表格数据集上的重要进展,我们提出了一种新的 NAMs 子类 —— 通过随机傅立叶特征的高斯过程的单层神经网络结构,称为高斯处理神经外加模型(GP-NAM),它具有凸优化函数和可训练参数数量与特征维度成线性关系的优势,并证明了它在多个表格数据集上实现了与更深层次 NAM 方法相当甚至更好的性能。
Feb, 2024
在核机器的背景下,通过将数据映射到高维空间,多项式特征和傅里叶特征常用于为线性模型提供非线性扩展。本文提出一种基于特征量化的方法,可以对相关模型的权重进行量化,生成量化模型。通过这种额外张量化策略,增加模型的广义能力和正则化效果,同时在相同数量的模型参数条件下无需额外计算代价。
Sep, 2023
CAT 是一种新颖的可解释的基于概念的 Taylor 加性模型,通过将输入特征简单地归类为广泛的组别,无需领域专家标注概念和其真实值,从而在多个基准测试中证明了其超过或与基准方法竞争的性能,同时减少对大量模型参数的需求,并能够通过人类可以理解的高级概念解释模型预测。
Jun, 2024
本文介绍了一种新的高维非参数回归和分类方法 —— 稀疏加性模型(SpAM)。该方法将稀疏线性建模和加性非参数回归的思想结合起来,可以处理样本量小于协变量数的情况,并且能够使用任意非参数平滑器。实验结果证明,该方法能够有效地拟合高维数据中的稀疏非参数模型。
Nov, 2007
药物联合使用引起的不良反应是现代医学中一个日益普遍的现象,对其准确预测的挑战至关重要。尽管存在大量计算方法来解决这个问题,但由于问题的多项式特性,仅依靠实验室的方法无法满足需求。我们将三种张量分解模型应用于基准数据集,与现有技术进行比较,发现与先前的报告相反,在此任务中,张量分解模型与最先进的图神经网络模型具有竞争力,因此建议未来的研究在运行昂贵的深度学习流程之前考虑更廉价的具有线性复杂度的方法。
Apr, 2024
本文研究了稀疏计数数据的多线性建模问题,提出了一个以泊松分布为假设的描述性张量分解模型和相应的算法和理论,并介绍了一种基于主导极小化方法的泊松张量分解算法,称为 CP-APR,并在几个数据集上的结果得到了验证。
Dec, 2011