Jan, 2020

深度学习的多项式时间普及性和局限性

PDF
TL;DR本文对于多项式时间内深度学习可以或不可以学习的函数分布进行了刻画，并证明了基于 SGD 的深度学习的通用性结果和基于 GD 的深度学习的非通用性结果。
发现论文，激发创造
  • 深度学习的可证明限制

    这篇论文证明了深度学习在低交叉可预测性函数分布上的失败，提出了算法约束和跨预测性的概念，并利用信息度量来限制统计间距离，探讨了神经网络、优化误差和算法分析的相关问题。

    Dec, 2018

  • 可微几何深度学习的通用逼近定理

    本文主要研究基于几何深度学习 (GDL) 框架的通用前馈神经网络的构建方法，用于处理非欧几里得数据，并得出了一些曲率相关的下界和上界等结论。同时，文章给出了可以保证该方法不失效的数据相关条件。

    Jan, 2021

  • 神经网络在信息论极限附近通过梯度下降学习低维多项式

    通过 SGD 优化的两层神经网络可学习任意多项式链接函数的单指数目标函数，并具有与信息理论界限相匹配的样本和运行时间复杂度。

    Jun, 2024

  • SGD 学习网络的共轭核类

    本文证明标准随机梯度下降算法保证在多项式时间内学习到与神经网络的共轭核空间最优函数相竞争的函数； 对于深度在 2 到 log (n) 之间的神经网络，SGD 保证多项式时间内学习到多项式系数多项式边界的常微商； 大型网络上的 SGD 可以学习连续函数。

    Feb, 2017

  • 几乎无过度参数化的神经网络学习和记忆

    本文研究了通过神经网络算法实现各种模型的多项式时间可学习性，证明了 SGD 在深度为二的神经网络上能够记忆样本、学习有界权重的多项式，以及学习某些内核空间，并且这些网络具有接近最优的网络大小、样本复杂度和运行时间。

    Nov, 2019

  • 深度学习的超参数化收敛理论

    通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

    Nov, 2018

  • 使用梯度下降法学习单层神经网络的超多项式下界

    利用梯度下降证明了学习单层神经网络的第一个超多项式下限，它包括使用小批量的梯度下降，需要锐利的激活函数和适用于特定查询的以前结果。与以前的结果不同，我们的结果适用于包括 ReLU 和 sigmoid 在内的广泛激活类别，并且围绕一种新型神经网络的结构构建。

    Jun, 2020

  • 一般分布学习：深度学习的理论框架

    广义分布学习（GD Learning）是一种全新的理论学习框架，通过包含先验知识并最小化学习误差来提高性能，以处理深度学习中的各种问题，包括超参数化、非凸优化、偏差 - 方差权衡和平坦极小值的机制等。

    Jun, 2024

  • 学习神经网络的特定分布困难度

    探讨对输入分布和目标函数的特定假设是否足以保证使用基于梯度的方法进行学习，在此基础上提供了一些工具来证明不同类别的目标函数的难以学习性和困难输入分布。

    Sep, 2016

  • 均匀收敛可能无法解释深度学习中的泛化

    通过实验结果，揭示了现存深度学习的多种基于均匀收敛理论的泛化界都是数值较大，因而引起了人们的质疑。而对于使用 GD 训练的超参数线性分类器和神经网络，即使我们考虑 GD 的隐式偏差，两边的均匀收敛都无法解释泛化，使得基于均匀收敛的泛化界失去了其解释能力。

    Feb, 2019