随机矩阵理论证明深度学习对 GAN 数据的表示行为类似于高斯混合模型

Jan, 2020

随机矩阵理论证明深度学习对 GAN 数据的表示行为类似于高斯混合模型

Random Matrix Theory Proves that Deep Learning Representations of GAN-data Behave as Gaussian Mixtures

Mohamed El Amine Seddik, Cosme Louart, Mohamed Tamaazousti, Romain Couillet

TL;DR通过理论和实验证明，深度生成对抗网络产生的数据的 DL 表示是集中随机向量类中的随机向量。同时，Gram 矩阵能够描述 GAN 数据的 DL 表示的前两个统计矩，并可用于多种标准分类器。

Abstract

This paper shows that deep learning (DL) representations of data produced by generative adversarial nets (GANs) are random vectors which fall within the class of so-called \textit{concentrated} random vectors. Fu

deep learning generative adversarial nets concentrated random vectors gram matrices statistical moments

发现论文，激发创造

深度神经网络中出现的随机矩阵。高斯情况

本研究针对出现在深度神经网络分析中的随机矩阵乘积奇异值分布进行了研究，其中，数据矩阵的总体协方差矩阵是随机的，基于随机矩阵理论和标准技术，分析了数据矩阵的非高斯分布并阐述其在分析宏观普适性方面的潜在应用。

Jan, 2020

用高斯混合生成对抗网络来处理多样化数据集和图像的无监督聚类

本文提出了一种基于对抗生成网络的模型 GM-GAN，其中对概率分布进行了控制，使得模型在高维度多样化数据集上的表现得以提高，并在合成图像和真实数据集上进行了多次实验证明了该模型的性能等方面的优势。

Aug, 2018

高斯混合卷积网络

提出了一种基于多维高斯混合分析卷积的深度学习方法，该方法通过高斯混合卷积核和数据产生多个特征通道，使用高斯混合拟合来代替传统的转移函数（如 ReLU），并在适当减少高斯混合成分数量的情况下进行汇集，基于该架构的网络在封装 MNIST 和 ModelNet 数据集的高斯混合物上达到了竞争性的准确性。

Feb, 2022

神经网络的随机矩阵方法

研究 Gram 随机矩阵模型，证明当 $n,p,T$ 同时增长时，具有相似行为与样本协方差矩阵模型，应用于单层随机神经网络的渐进性能估计，提供了对随机神经网络基础机制的实际见解，并快速调整网络超参数。

Feb, 2017

生成对抗网络学习分布的误差分析

本文研究了生成对抗网络（GAN）如何从有限样本中学习概率分布，得到了 GAN 在一组 H"older 类定义的积分概率度量下的收敛速度和 Wasserstein 距离特殊情况下的学习率，并证明了当网络结构适当选择时，GAN 能够自适应地学习低维结构或具有 H"older 密度的数据分布。特别是对于集中在低维集合周围的分布，我们展示了 GAN 的学习速率不取决于高环境维度，而取决于较低的内在维度。我们的分析基于一种新的神谕不等式，将估计误差分解为生成器和鉴别器逼近误差和统计误差，这可能是具有独立研究价值的。

May, 2021

不仅仅是玩具：随机矩阵模型预测现实世界神经表示如何泛化

研究了机器学习模型泛化的定量现象，发现基于核回归的大规模神经网络和真实数据的核函数理论分析往往无法捕捉到这些现象，然而基于 GCV 估算器的实证研究结果表明该方法可以在这种超参数化的情境下准确预测泛化风险，并证明了 GCV 估算器在满足局部随机矩阵定理时总是可以收敛到泛化风险，最后应用这个随机矩阵理论解释了为什么预训练表示的泛化性更好以及什么因素支配了核回归的放缩定律，该研究揭示了随机矩阵理论对于理解神经表征的性质至关重要。

Mar, 2022

高维数据的随机特征映射谱

本文运用随机矩阵理论诱导的 “浓度” 现象对这些随机特征图 Gram 矩阵的谱分析，为更深入地理解非线性和数据统计学的相互作用提供了基础，从而实现了更好的随机特征技术调优。

May, 2018

论 GAN 和 GMM

本文研究了 GANs 在图像统计建模方面与 Gaussian 混合模型的效果，结果表明，GMM 能够生成逼真的图像，同时也能够捕捉到 Gans 无法捕捉到的分布特征，为图像生成提供了一种有效而全面的统计学方法。

May, 2018

深度量子神经网络构成高斯过程

研究证明在量子神经网络中，基于 Haar 随机酉或正交深度 QNN 的输出会在大 Hilbert 空间维度 d 下收敛到高斯过程，但无法通过贝叶斯统计有效预测其输出，且浓缩度现象比以前预想的更糟，因为期望值和梯度浓缩为 O（1/e^d * sqrt（d））-- 在希尔伯特空间维度上呈指数级。

May, 2023

深度神经网络中表示学习的理论提供了核方法的深度广义化

本文介绍了一种基于无限宽的贝叶斯表达学习界限的深层高斯过程方法以及基于这个界限的核方法的深度泛化技术。实验证实这种方法能够处理有限宽的高斯方法以及 NNs，这将有助于在大规模数据上应用这种方法。

Aug, 2021