Jan, 2020

反向特征校正：深度学习如何进行深度学习

PDF
TL;DR本文研究如何通过层次学习实现深度神经网络对于复杂任务的高效学习，并提出了基于反向特征修正的新原则。在技术上，研究表明使用 SGD 算法的 ω(1) 层神经网络可以在多项式时间复杂度内，并通过表示为二次函数复合的 ω(1) 层来学习满足特定条件的函数类，没有已知的其他算法可在同样时间内实现。
hierarchical learningdeep neural networksbackward feature correctionsgdpolynomial time complexity
发现论文，激发创造
  • 神经网络上的随机梯度下降学习越来越复杂的函数

    实验研究表明，Stochastic Gradient Descent 利用条件互信息学习了从线性分类器到逐渐复杂的函数的分类器，解释了超参数化区域中 SGD 学习的分类器为什么往往具有良好的泛化能力。

    May, 2019

  • 浅层学习作为深度学习的替代方案

    拟合深度学习基础理论的神经网络架构 —— 卷积层可以达到与深度卷积神经网络类似的性能，并有一个可识别其普遍行为的幂律现象。

    Nov, 2022

  • 深度神经网络如何学习组合数据：随机层次模型

    本文探讨了使用深度卷积神经网络训练高维数据的难点，回答了在随机分层模型中学习所需的训练数据量成长与类别数、高级特征组成式的幂、重复次数成多项式关系的问题，并给出了相应的估算方法。

    Jul, 2023

  • 两层神经网络中一次梯度步骤的非线性特征学习理论

    通过分析两层全连接神经网络中梯度下降和岭回归的步骤，证明采用学习率随样本大小增长的训练方法可以引入多个一阶秩分量，分别对应特定的多项式特征，进而改善神经网络的学习效果。

    Oct, 2023

  • 神经网络学习复杂性

    本文研究神经网络的理论解释，针对单个隐藏层、平滑激活函数和良好输入分布条件下生成的数据可否进行有效学习，证明了对于广泛的激活函数和任何对数凹分布的输入，存在一类单隐藏层函数，其输出为和门，难以以任何精度有效地学习，这一下界对权重的微小扰动具有鲁棒性，且通过实验验证了训练误差的相变现象。

    Jul, 2017

  • 探索层次化学习：神经表征的好处

    本文指出了中间神经表现添加了深度学习网络的灵活性并且在原始输入上具有优势，并阐述了与浅学习者，如卷积内核的神经表现的关系。通过学习低秩的多项式，中间神经表现可以实现比原始输入更少的样本复杂度，并且在神经可切内核的情况下，本文还提出了神经表现不利的限制。

    Jun, 2020

  • ResNet 能高效地学习什么，超越核心卷积？

    该研究表明，多层神经网络通过不同层进行分层学习，缩小了与 “单次学习” 算法（如核方法）相比的样本复杂度，而这种思想与 “反向特征校正” 过程一起，又加深了深度网络的理论基础，同时也证明了 ResNet 相对于其他学习方法具有计算复杂度上的优势。

    May, 2019

  • 通过逐层特征压缩和差异化理解深度表示学习

    通过研究深度线性网络的中间特征，本文量化揭示了特征在层级表示中的演化规律，证明线性网络的每一层以几何速率压缩类内特征，与通过数据的层数线性关系的方式区分类间特征，这不仅在深度非线性网络中得到验证，而且在迁移学习中具有实际应用意义。

    Nov, 2023

  • 三层神经网络非线性特征学习的可证明保证

    本文研究了三层神经网络在特征学习方面的优势，证明了其比两层神经网络具有更丰富的特征学习能力，并提出了一个通用的定理，以限定实现低测试误差所需的样本复杂度和宽度。

    May, 2023

  • 深度学习和廉价学习为什么如此有效？

    本论文旨在应用物理学中的对称性、局域性、复合性和多项式对数概率等性质，研究深度神经网络在近似处理特定实际问题时可以使用相对简单的模型，从信息论的角度证明这些理论，并通过层次结构的机制使深层模型比浅层模型更高效。

    Aug, 2016