ICLROct, 2020

卷积网络为什么比全连接网络更高效？

PDF
TL;DR对一种自然分布的任务进行的研究表明，对于标准训练算法，任何正交不变算法（即用大多数梯度下降法从高斯初始化中训练的全连接网络）需要 Ω（d²）个样本才能推广，而卷积神经网络只需要 O（1）个样本就足够了。
convolutional neural networksfully-connected networksinductive biassample complexitygradient-based methods
发现论文，激发创造
  • 卷积神经网络和全连接网络的逼近等价性

    本文在卷积神经网络与全连接网络的数学分析中建立起联系，并指出了两者在函数逼近率上具有本质上相同的界限，同时研究了不进行池化运算且基于循环卷积的卷积神经网络的逼近率。

    Sep, 2018

  • 学习一层卷积神经网络的样本复杂度

    我们研究了使用不重叠过滤器的一层卷积神经网络的样本复杂度，并提出了一种称为近似梯度下降的新算法来训练 CNN，该算法在随机初始化时具有地面真值参数的线性收敛性，并且适用于常规的激活函数，例如 ReLU，Leaky ReLU，Sigmod 和 Softplus 等。我们的样本复杂度超过现有结果，并匹配了具有线性激活函数的一层 CNNs 的信息论下界，表明我们的样本复杂度是紧致的。

    Nov, 2019

  • 深度卷积网络中归纳偏见的理论分析

    本文研究卷积神经网络中的归纳偏差，证明了一定深度下 CNN 可以进行连续函数的逼近以及 CNN 具有吸收长距离稀疏相关性的能力，并通过对称性分析证明权重共享与局部性对学习的重要性。

    May, 2023

  • 没有卷积能走多远：改进全连接网络

    探讨改进全连接网络的性能的方法，提出了线性瓶颈层和非监督预训练方法的影响，探索它们如何通过提高梯度流和减少稀疏性来改进网络，展示全连接网络在置换不变的 CIFAR-10 任务上达到了约 70% 的分类准确率，添加变形数据后达到了 78% 的准确率，接近卷积网络的水平。

    Nov, 2015

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 全连接层在低数据域中的异常有效性

    本文提出了一种简单而有效的框架，将现代卷积神经网络 (CNNs) 与全连接 (FC) 层相结合，展示了这种架构变化在小数据区间的巨大影响。另外，还提出了一种在线联合知识蒸馏方法，以利用额外的 FC 层来提高 CNN 模型的泛化能力，并在测试时避免了它们。我们在超级学习和主动学习的几个标准数据集上进行了分类实验，实验结果明显优于没有全连接层的网络，在有监督设置下准确率最高可达到 16%。

    Oct, 2022

  • 深度学习具有泛化能力是因为参数 - 函数映射倾向于简单函数

    本文提供了深度神经网络的隐式正则化和广义性能的新解释，即表明深度神经网络的参数 - 函数映射应该具有指数偏向简单函数的现象，并且该内在的简单性依赖有助于解释为什么深度网络在现实世界的问题上具有良好的泛化性能。此外，本文提出了一种基于 PAC-Bayes 理论的方法，可以保证目标函数产生高似然训练集时的良好期望泛化，而且该方法的普适性更好。

    May, 2018

  • 深度神经网络的采样权重

    我们引入了一种概率分布和高效的采样算法来处理神经网络中的权重和偏差参数，通过玩具模型和实际数据集的实验，证明了我们构造的采样网络是普适逼近器，并且采样框架对于输入数据的缩放和旋转是不变的，这意味着许多流行的预处理技术不再需要。

    Jun, 2023

  • 估计卷积或循环神经网络所需的样本数量是多少？

    本文研究了卷积神经网络和循环神经网络的样本复杂度，发现其样本复杂度随内在维度线性增长，但远小于全连接神经网络。研究方法包括本地经验分析和新的技术引理，希望能激发进一步理解卷积神经网络和循环神经网络的发展。

    May, 2018

  • 稀疏连接深度神经网络的最优逼近

    本文提出了深度神经网络的可连接性和内存需求的基本下限，同时证明了其实现方式适用于广泛的函数类。此外，研究表明，广义仿射系统内的全局极优逼近问题可以通过神经网络得到最优解，并通过数值实验验证了随机梯度下降算法能够学习出近乎最优的函数逼近。

    May, 2017