Nov, 2017

使用多核学习非重叠的卷积神经网络

PDF
TL;DR本研究考虑具有多个内核的不重叠卷积神经网络的参数恢复，当输入服从高斯分布且样本量足够大时，对于大多数流行的激活函数，如 ReLU，Leaky ReLU，Squared ReLU，Sigmoid 和 Tanh，我们展示了该 CNN 的平方损失在全局最优附近的吸引盆中是局部强凸的，所需样本复杂度与输入维度成比例且多项式内核数量和参数的条件数，同时我们还展示了张量方法能够将参数初始化为局部强凸的区域，因此，对于大多数光滑的激活函数，张量初始化后的梯度下降保证在输入维度、精度对数和其他因素上是多项式数量级的时间内收敛到全局最优解。据我们所知，这是第一份提供具有多个内核的 CNN 的恢复保证的工作，其样本复杂度和计算复杂度都是多项式的。
发现论文，激发创造
  • 一层隐藏层神经网络的恢复保证

    本文考虑使用单隐藏层神经网络模型去解决回归问题，探讨了激活函数的属性，比如 ReLU、leaky ReLU、sigmoid 等都满足局部强凸性。文中还提出了使用张量方法对参数进行初始化，并配合梯度下降算法使用来解决回归问题。最终达到了使用线性的输入维数和对数精度计算复杂度的样本复杂性和计算复杂性要求。

    Jun, 2017

  • 学习一层卷积神经网络的样本复杂度

    我们研究了使用不重叠过滤器的一层卷积神经网络的样本复杂度，并提出了一种称为近似梯度下降的新算法来训练 CNN，该算法在随机初始化时具有地面真值参数的线性收敛性，并且适用于常规的激活函数，例如 ReLU，Leaky ReLU，Sigmod 和 Softplus 等。我们的样本复杂度超过现有结果，并匹配了具有线性激活函数的一层 CNNs 的信息论下界，表明我们的样本复杂度是紧致的。

    Nov, 2019

  • 具有高斯输入的 ConvNet 的全局最优梯度下降

    在神经网络模型中，使用 Gradient descent 算法时，当输入分布满足高斯分布时，使用 Convolutional neural network 和 ReLU activations 的神经网络模型可以在多项式时间内收敛于全局最优点。但是，我们证明了这种情况下学习是 NP 完全问题。

    Feb, 2017

  • 关于卷积神经切线和高斯过程核的谱偏差

    通过它们各自的高斯过程和神经切向核，研究各种过度参数化的 CNN 架构的属性，并证明了这些核的特征值随着层级特征的组合而多项式地衰减

    Mar, 2022

  • ReLU 神经网络的凸松弛在多项式时间内近似全局最优

    本文研究了采用权重衰减正则化的两层 ReLU 网络与其凸松弛之间的最优性差距，揭示了在随机训练数据情况下原问题与其松弛之间相对最优性差距可以通过 O (√log n) 的因子进行界定，且应用简单的算法可在多项式时间内解决原非凸问题，此外，在合理假设下，随机初始化参数的局部梯度方法几乎必定收敛于训练损失较低点，此结果相对现有结果而言具有指数级改进，并对解释局部梯度方法为何行之有效提供了新的见解。

    Feb, 2024

  • 卷积和池化在核方法中的学习

    本研究探讨了一层卷积、汇集和降采样操作组成的核的 RKHS，并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明，卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。

    Nov, 2021

  • 卷积神经网络中的子流形卷积核优化

    本文提出了新的核规范化方法，解释了该方法对 CNN 中核搜索空间的几何形状的影响，并证明了该方法几乎可以保证收敛于 CNN 分类损失的单一最小值，为图像分类基准测试提供了最先进的性能。

    Oct, 2016

  • 本地化多核学习 —— 一种凸优化方法

    本文提出了一种基于局部策略的多核学习方法，采用凸优化算法和 Fenchel 对偶表示，对于应用于计算生物学和计算机视觉等应用领域的真实数据集，相比全局和非凸局部策略，此方法能够获得更高的预测准确性。

    Jun, 2015

  • 增强卷积神经切向核

    该研究使用新操作 Local Average Pooling (LAP) 修正了 CNN-GP 和 CNTK 并采用 Coates 等人提出的图像预处理技术，成功将在 CIFAR-10 数据集上的分类准确率提升至 89％，具有与 AlexNet 相当的表现。

    Nov, 2019

  • 卷积滤波器何时易于学习？

    通过随机梯度下降算法和 ReLU 激活函数，我们分析了卷积滤波器的收敛性。我们的研究不依赖于任何特定形式的输入分布，证明了基于梯度的算法在多项式时间内可以学习卷积滤波器，且收敛速度取决于输入分布的平滑度和卷积核的密度。此理论证明了深度神经网络中的两阶段学习率策略并提出了卷积滤波器的新的较弱恢复保证。

    Sep, 2017