学习多项式变换

MMApr, 2022

Learning Polynomial Transformations

Sitan Chen, Jerry Li, Yuanzhi Li, Anru R. Zhang

TL;DR提出了用于学习高维多项式变换高斯函数的算法，同时探讨了该算法在深度生成模型中的作用，同时还给出了可证实保证的分解高维张量算法

Abstract

We consider the problem of learning high dimensional polynomial transformations of Gaussians. Given samples of the form $p(x)$, where $x\sim N(0, \mathrm{Id}_r)$ is hidden and $p: \mathbb{R}^r \to \mathbb{R}^d$ is a function where every output coordinate is a low-degree polynomial, the goal is to learn the distribution over $p(x)$. This problem is natural in

gaussian transformations high-dimensional polynomial deep generative models neural networks tensor ring decomposition

发现论文，激发创造

学习少量相关维度的多项式

在高斯协变量的条件下，使用过滤的 PCA 方法和测地线 SGD 技术，本文提出一个新算法，能够以较小的样本复杂度和运行时间来学习低维数据中的多项式回归问题，并给出了复杂度的理论分析。

Apr, 2020

分布族的多项式学习

本文解决了高维度任意固定数目成分的高斯混合分布在多项式学习方面存在问题的问题，提供了降维方法来将学习高维混合分布降至低维学习问题，并利用实代数几何学工具提供了多项式族分布的学习方法。

Apr, 2010

高维高斯混合模型学习

在高维情况下，使用平滑分析方法可以在多项式时间内使用多项式数量的样本学习带有随机扰动参数的高斯混合模型，通过利用高斯分布的高阶矩的组合结构并推导其对称性，探索新的高斯混合物的时刻张量的分解方法以及构建结构化随机矩阵的奇异值的下界。

Mar, 2015

使用三层神经网络学习分层多项式

我们研究了使用三层神经网络学习标准高斯分布上的层级多项式的问题。我们的主要结论是，在大部分度为 k 的多项式 p 的子类中，通过逐层梯度下降在平方损失上训练的三层神经网络可以在约 d^k 个样本和多项式时间内学习到具有崩溃测试误差的目标 h。这个结果对于核方法是一个严格的改进，在核方法中需要大约 d^(kq) 个样本，并且对于二层网络的现有保证需要目标函数具有低秩性质。我们的研究证明了三层神经网络学习复杂特征的能力，从而可以学习一类广泛的层级函数。

Nov, 2023

学习窄的一层 ReLU 网络

我们提出了一个基于随机高阶矩张量收缩的多尺度算法，用于发现个别神经元。在学习由 $k$ 个 ReLU 激活的线性组合方面，该算法是首个在多项式时间内成功的，而且无需额外假设网络的正系数或隐藏权重向量的矩阵具有良好的条件数。

Apr, 2023

神经网络在信息论极限附近通过梯度下降学习低维多项式

通过 SGD 优化的两层神经网络可学习任意多项式链接函数的单指数目标函数，并具有与信息理论界限相匹配的样本和运行时间复杂度。

Jun, 2024

在多项式时间内学习两层修正线性单元神经网络

该研究提出了一种基于高斯分布假设的算法，可以在多项式时间内准确地恢复两层神经网络的权重矩阵，即使在存在噪声的情况下。

Nov, 2018

高维线性化双层神经网络

本论文研究了在球面上进行方差损失下的未知函数 f * 的学习问题，并研究了神经切向核模型和 Rahimi-Recht 的随机特征模型等两种流行的模型，以及核岭回归。同时，论文探讨了样本数量有限或由于关于度数和样本数的适当估计而未能实现最优化性能时的情况，以及核方法随机选取核函数时的情况。

Apr, 2019

高斯混合多项式可学习性的解决

该论文提出了一种基于高斯混合模型的数据学习算法，可用于密度估计、数据聚类、高斯混合参数估计等问题，同时考虑了高维情况下的实际问题。

Apr, 2010

高维度中的平滑函数学习：从稀疏多项式到深度神经网络

从有限的点值样本学习多变量平滑目标函数的近似是科学计算和计算科学工程中的一个重要任务。本文调查了近年来在此方面取得的重大进展，描述了来自参数模型和计算不确定性量化的当代动机，无穷维巴拿赫空值全纯函数类，这些类的有限数据可学习性的基本限制，以及从有限数据高效学习此类函数的稀疏多项式和深度神经网络方法。针对深度学习的实际性能与深度神经网络的近似理论之间的差距，我们发展了实际存在理论的主题，宣称存在维度无关的 DNN 结构和训练策略，以证明在训练数据量方面具有可证明近似最优的泛化误差。

Apr, 2024