生成网络中的尺寸 - 噪声权衡
使用生成网络和自编码器对带有噪声的图像进行去噪,当给定一个 $k$ 维码时,自编码器能将噪声能量减小到 $O (k/n)$,并且使用一个梯度算法的生成模型能将噪声能量降低到 $O (k/n)$。
May, 2018
本文研究了从推广的角度学习 ReLU 神经网络的样本复杂性,并结合权重矩阵上的范数限制,给出了与网络规模无关的上界,其中 Frobenius norms 为主要研究方向。
Jun, 2023
基于信息复杂性工具,本研究扩展了先前工作,证明了存在可以用带有 ReLU 激活函数的神经网络进行任意速率逼近的函数,但其数值计算需要指数级增长的样本数量,并展示了对于 ReQU 激活函数类似的结果。
Dec, 2023
本文研究了在低维多條件上 H"{o} lder 函数的非参数回归问题,并使用深层 ReLU 网络实现,研究结果表明深层 ReLU 网络具有适应低维几何结构的能力,可快速收敛于数据固有维度,进而解决高维数据的低维几何结构问题。
Aug, 2019
本文研究了生成对抗网络(GAN)如何从有限样本中学习概率分布,得到了 GAN 在一组 H"older 类定义的积分概率度量下的收敛速度和 Wasserstein 距离特殊情况下的学习率,并证明了当网络结构适当选择时,GAN 能够自适应地学习低维结构或具有 H"older 密度的数据分布。特别是对于集中在低维集合周围的分布,我们展示了 GAN 的学习速率不取决于高环境维度,而取决于较低的内在维度。我们的分析基于一种新的神谕不等式,将估计误差分解为生成器和鉴别器逼近误差和统计误差,这可能是具有独立研究价值的。
May, 2021
通过研究生成模型中的推进模型,发现模型的 Lipschitz 常数必须很大才能拟合多模态分布,而稳定性与能力之间存在可证明的权衡关系。同时,基于可证的发现,在一维和图像数据集上验证了模型的稳定性,并证明了堆叠网络和扩散模型的生成模型不会饱经多模独立现象下的诸多限制。
Jun, 2022
发现深度 ReLU 网络(或多层感知器架构)表现出 ' 过度泛化 ' 现象并利用这一特性设计了数据集炫斑网络,称为 ' 生成炫斑网络 '。此现象在其他深度学习架构(如 CNNs、Transformers 和 U-Nets)中也观察到,并正在进一步研究。
Feb, 2024
全球学术知名期刊报道了一项关于生成对抗网络(GAN)的研究,该研究提出了将 GAN 视为离散采样器的新观点,并建立了噪声维度与无损压缩图像所需比特数之间的关系。此外,还提出了一种新的分歧 - 熵权衡方法,用于揭示在噪声受限的情况下 GAN 的行为特征,并通过图像生成实验证实了理论推断。
Mar, 2024
本文研究如何构建一种新的向量空间,以更好地促进神经网络的优化,证明了所有路径值向量足以表示神经网络,引入了正比例变换群来提高神经网络优化的效率与性能。
Feb, 2018