本文研究的问题是在给定的训练数据集中寻找预测模型。我们提出了一种迭代过程,用于得到一系列不断改进的模型和对原始输入空间的一系列非线性特征。在有限的 N 次迭代后,非线性特征变成原始空间上 2^N - 次多项式。我们展示了在无限次迭代的极限情况下,导出的非线性特征必须形成一个联想代数:两个特征的乘积等于来自同一特征空间的特征的线性组合。由于每次迭代都包含解决一系列包含所有先前解的凸问题,因此随着每次迭代,模型的似然性逐渐提高,而模型参数空间的维数设置为一个有限的可控制值。
Dec, 2013
本文从统一的视角重新审视了多项式网络和分解机模型,提出了高效训练算法,并将参数学习作为低秩对称张量估计问题进行求解。在回归和推荐系统任务中展示了我们的方法。
Jul, 2016
本研究采用自然语言推理任务为例,研究使用现有特征的二次及以上次方的缩放多项式作为匹配特征的方法,我们发现将二次特征进行缩放对性能的影响最大,在最佳模型中将分类错误率降低了 5%。
Feb, 2018
在当前海量数据和透明机器学习的时代,为了在大规模操作的同时提供对方法内部工作的清晰数学理解,本论文提出了一种使用因子化方法来导出高度可扩展的高阶张量乘积样条模型的新方法,以解决目前大规模应用中可解释的半参数回归方法在模型复杂度和交互作用缺失方面的局限性,同时保持计算成本与无交互作用模型相比成比例,我们还开发了一种有意义的惩罚策略并研究了引发的优化问题,并通过评估我们的方法的预测和估计性能来总结。
Feb, 2024
本文考虑了学习支持外推的表示的挑战,引入了一种新颖的视觉类比基准和一种简单的技术:时间上下文归一化来支持关系强调的表示,接着发现该技术显著提高了外推能力,胜过了许多竞争技术。
Jul, 2020
提出了一种基于 Lipschitz 的单隐层神经网络的多项式时间学习算法,使用了 Alphatron 算法和核方法,这为布尔学习问题提供了新的方法。
Sep, 2017
提出了一种新颖的、两阶段的学习方法,利用动态可扩展表示进行更有效的概念建模,在三个类别的增量学习基准测试中,该方法始终表现出比其他方法更好很大的优势。
Mar, 2021
提出了用于学习高维多项式变换高斯函数的算法,同时探讨了该算法在深度生成模型中的作用,同时还给出了可证实保证的分解高维张量算法
Apr, 2022
本篇研究工作将深度分类器的研究归纳到一个统一的框架下,其中将最先进的架构用不同程度的多项式形式表示,并对其进行了评估,结果表明其在模型性能和模型压缩方面具有高表现性,并且在有限数据和长尾数据分布存在的情况下具有优异的效果。
Apr, 2021
该研究论文提出了一种将非线性引入量子机器学习中的方法,使用特征映射将经典数据导入到量子状态中,并基于混合量子计算机进行实现,提出了可实现著名的多项式回归和高斯核岭回归的编码方案,其处理信息效率具有指数级加速并且适用于大规模数据集。
Aug, 2018