多项式分类器的并行张量列车学习

Dec, 2016

多项式分类器的并行张量列车学习

Parallelized Tensor Train Learning of Polynomial Classifiers

Zhongming Chen, Kim Batselier, Johan A.K. Suykens, Ngai Wong

TL;DR该研究利用张量列车格式来表示多项式分类器，提出了两种学习算法来解决低计算复杂度的优化问题，进而演示了其在实际应用数据集上的高效性和功效。

Abstract

In pattern classification, polynomial classifiers are well-studied methods as they are capable of generating complex decision surfaces. Unfortunately, the use of multivariate polynomials is limited to kernels as in support vector machines, because polynomials quickly become impractical

polynomial classifiers support vector machines tensor train format regularization parallelization

发现论文，激发创造

多项式网络和因子分解机：新见解和高效训练算法

本文从统一的视角重新审视了多项式网络和分解机模型，提出了高效训练算法，并将参数学习作为低秩对称张量估计问题进行求解。在回归和推荐系统任务中展示了我们的方法。

Jul, 2016

用多项式神经网络增强深度分类器

本篇研究工作将深度分类器的研究归纳到一个统一的框架下，其中将最先进的架构用不同程度的多项式形式表示，并对其进行了评估，结果表明其在模型性能和模型压缩方面具有高表现性，并且在有限数据和长尾数据分布存在的情况下具有优异的效果。

Apr, 2021

更具表现力的张量网络模型的量化傅里叶和多项式特征

在核机器的背景下，通过将数据映射到高维空间，多项式特征和傅里叶特征常用于为线性模型提供非线性扩展。本文提出一种基于特征量化的方法，可以对相关模型的权重进行量化，生成量化模型。通过这种额外张量化策略，增加模型的广义能力和正则化效果，同时在相同数量的模型参数条件下无需额外计算代价。

Sep, 2023

张量多项式加法模型

我们提出了张量多项式加法模型（TPAM），通过保留高阶输入的多维结构信息和使用分层低阶对称张量逼近来压缩模型参数，能够捕捉到复杂的高阶特征交互，并提高最高达 30％的准确性和 5 倍的压缩率，同时保持可解释性。

Jun, 2024

多输出多项式网络与因子分解机

本文介绍了将因子分解机和多项式网络拓展应用到多输出设置的方法，并提出了一种基于共同基础的三维张量的学习问题的凸形式，进一步提出一种高效的条件梯度算法以解决该问题，并在分类和推荐任务中通过实验验证了其良好的性能和较稀疏的模型。

May, 2017

使用张量列车格式解决高维抛物偏微分方程

本文研究高维偏微分方程，提出了一种基于张量列的近似方法和迭代方案，能够在精确性和计算效率之间达到有利的折衷。

Feb, 2021

阶梯多项式神经网络

本文介绍了一种基于乘积构建出的新型激活函数的多项式前向神经网络，其可以被标准训练技术（如批量归一化和丢弃）所训练，并且在回归和分类任务上表现良好，同时具有一些在贝叶斯学习中非常有用的解析计算数量。

Jun, 2021

学习多项式变换

提出了用于学习高维多项式变换高斯函数的算法，同时探讨了该算法在深度生成模型中的作用，同时还给出了可证实保证的分解高维张量算法

Apr, 2022

张量网络约束核机器作为高斯过程

张量网络（Tensor Networks）被用于通过限制模型权重来加速核机器，在概率参数上置于 i.i.d. 先验下，我们证明了规范多项分解（CPD）和张量列车（TT）约束的核机器的输出可以恢复到一个完全特征化的高斯过程（Gaussian Process）。我们分析了 CPD 和 TT 约束模型的收敛性，并通过数值实验观察到 TT 相对于 CPD 在相同模型参数数量下表现出更多的高斯过程特性。从而，我们建立了张量网络约束的核机器和高斯过程之间的联系。

Mar, 2024

用 Tensor Train 递归神经网络进行视频分类

通过使用 Tensor-Train 分解来分解 RNN 中的高维输入矩阵，尽管架构比其他模型简单得多，但在分类实验中仍能够实现与最先进的模型相媲美的性能，这为建模高维序列数据提供了一种新的基础模块，并打开了从其他领域（如自然语言处理）传输表达和先进模型的多种可能性。

Jul, 2017