关于逆转生成模型的细粒度难度
该研究探讨了几个度量数据分布与隐式模型分布差异的标准,发现这些度量在概率测度空间中引入了不同的几何特性,特别是当参数生成器具有非凸参数化时,$1$-Wasserstein距离能够实现惊人的近似全局收敛保证。
Dec, 2017
本文介绍了一种基于最小距离估计的统计模型,即对于可能性不易计算的生成模型,通过指定核函数,作为一个度量距离的最大均值差异(MMD)可以用来进行最小距离估计,同时结合自然梯度下降算法的应用使这种估计更加高效和鲁棒。
Jun, 2019
本文研究在ReLU激活的深度生成模型中,通过解决线性规划问题进行单层反演,证明了多层反演是NP难问题,提出了可在多项式时间内进行精确恢复的算法,并为恢复嘈杂观测提供了可证明的误差界限。
Jun, 2019
研究表明,在压缩感知中,如果将稀疏性假设替换为未知向量接近某个合适选择的生成模型的范围,则所需测量的数量可能显著减少。本文使用极小化统计分析工具,建立了与上界对应的算法无关样本复杂性下界。我们证明,除非有进一步的假设,否则(Bora et al.,2017) 中得出的定律是最优的或接近最优的,其中生成模型是L-Lipschitz函数和有界k维输入,或者是具有深度d和宽度w的k输入ReLU网络。
Aug, 2019
本文主要研究了基于生成模型的压缩感知问题,通过下界分析表明基于L-Lipschitz生成模型的压缩感知需要线性测量数至少是k乘以对数级别的,同时指出生成模型可以作为一种结构表示方法进行推广。作者还构造了一个具有ReLU激活的神经网络模型,其层数为O(1),每层的激活函数个数为O(kn),且该模型可以表示所有k稀疏向量。
Dec, 2019
该研究利用生成模型替代稀疏性假设,研究带生成模型的1位压缩感知问题。在此基础上结合高斯测量和具有Lipschitz连续生成先验的近似恢复,应用于神经网络生成模型,并与基于稀疏性的方法进行了比较,证实了其有效性。
Feb, 2020
单指标模型是高维回归问题,根据未知的一维投影通过非线性、潜在非确定性的变换,标签与输入相关,涵盖了广泛的统计推断任务,提供了在高维领域研究统计和计算权衡的丰富模版。我们证明了在统计查询(SQ)和低次多项式(LDP)框架内计算高效算法所需的样本复杂度最低为Ω(d^k/2),其中k是与模型关联的“生成”指数,我们明确定义了这个指数。此外,通过使用部分跟踪算法建立的匹配上界证明了这个样本复杂度也是充分的。因此,我们的结果表明,在SQ和LDP类中,只要k>2,计算与统计之间存在明显的差距。为了完成这个研究,我们提供了具有任意大生成指数k的平滑和Lipschitz确定的目标函数的示例。
Mar, 2024