该研究表明，深窄玻尔兹曼机是可视单元活动上概率分布的普适逼近器，如果它们有足够多的隐藏层，每个层次含有与可见层相同数量的单元。该研究提供了普适逼近器所需的深度和宽度的上下界，并且解决了有关无向网络的各种直觉问题，并且特别表明，与狭窄的 S 型信念网络和受限玻尔兹曼机相比，深窄玻尔兹曼机至少与当前可用于这些模型的限制相一致。

Nov, 2014

本文提出了一种新的算法改善了 Restricted Boltzmann Machines (RBM) 和 Deep Belief Networks (DBN) 在集合二进制向量的分布表示方面的问题，证明了一个由 Le Roux 和 Bengio 提出的猜想。

May, 2010

本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。

Jan, 2019

我们对用具有宽度 W、深度 l 和 Lipschitz 激活函数的前馈神经网络的输出来逼近某个 Banach 空间中的紧致子集的误差给出了下界估计。我们证明，除了神经网络，只有当深度 l 趋于无穷大时，才有可能得到比熵数更好的速率，而如果我们固定深度并使宽度 W 趋于无穷大则无法获益。

Oct, 2023

该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。

May, 2019

本文研究了经典神经网络的普适逼近定理在量子设置下的拓展，通过参数化量子电路近似传统函数，并提供精确的误差界，并将结果推广到模拟经典储备神经网络的随机量子电路。结果表明，一个具有 O (ε^-2) 个权重和 O (⌈log_2 (ε^-1)⌉) 个量子比特的量子神经网络可以在近似具有可积傅里叶变换的函数时达到精度 ε>0。

Jul, 2023

本文证明，过度参数化的、随机初始化的神经网络可以裁剪成仅由二进制 ±1 权重构成的多项式深度与宽度的网络，以任意精度逼近目标网络。

Oct, 2021

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019

本研究通过研究 Restricted Boltzmann Machines 所学习的概率分布，提出了几个具有代表性的概率分布，旨在展示该模型的表达能力。 结果表明，最大的 Kullback-Leibler 散度上界受限于 $n - log (m+1) - (m+1)/2^{log (m+1)}$，可以用于指定保证模型丰富性和达到特定误差容限的隐藏单元数。

Jun, 2014

研究具有随机高斯权重和偏差的全连接神经网络的分布，其中隐藏层宽度与大常数 $n$ 成比例，并获得在有限但大的 $n$ 和任意固定网络深度下有效的正常近似的定量界限。

Jul, 2023