Apr, 2021

通过神经网络近似空间的采样复杂度界证明深度学习中理论与实践之间的差距

PDF
TL;DR该论文研究了基于点采样的（确定性或随机）算法的计算复杂度，用于逼近或积分可以用神经网络很好地逼近的函数，这些算法（最突出的是随机梯度下降及其变种）在深度学习领域被广泛应用。我们证明了在一个新颖的神经网络逼近空间类上实现理论上可证明的神经网络逼近速率的问题是困难的，从而验证了深度学习中理论和实践之间存在的差距。同时，我们还表明了具有可比收敛阶的逼近速率在理论上（至少可以）实现。
computational complexityneural networksapproximationintegrationdeep learning
发现论文，激发创造
  • 深度逼近空间的抽样复杂性

    基于信息复杂性工具，本研究扩展了先前工作，证明了存在可以用带有 ReLU 激活函数的神经网络进行任意速率逼近的函数，但其数值计算需要指数级增长的样本数量，并展示了对于 ReQU 激活函数类似的结果。

    Dec, 2023

  • 深度神经网络在函数逼近中理论与实践之间的差距

    通过计算框架来探讨深度神经网络在数值分析领域的稳定性、精确性、计算效率和样本复杂性，研究了不同维度中的测试函数和与压缩感知的比较，结果表明 DL 在实际中的性能表现仍需要进一步设计架构和训练策略。但此实践证明了深度神经网络在科学计算中具有潜在的更好性能。

    Jan, 2020

  • 深度神经网络近似理论

    本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。

    Jan, 2019

  • 基于采样技术的深度神经网络训练方法在计算资源有限情况下的可拓展性评估

    本文通过在大规模 CPU 机器上评估近似矩阵乘法的两种采样方法，提供了负面的理论分析，这表明前馈逼近是可扩展性的障碍。作者指出基于哈希的节点选择方法不能扩展到大量层数，并确定了未来研究的方向。

    Jun, 2023

  • 稀疏连接深度神经网络的最优逼近

    本文提出了深度神经网络的可连接性和内存需求的基本下限，同时证明了其实现方式适用于广泛的函数类。此外，研究表明，广义仿射系统内的全局极优逼近问题可以通过神经网络得到最优解，并通过数值实验验证了随机梯度下降算法能够学习出近乎最优的函数逼近。

    May, 2017

  • 神经网络中逼近、深度分离与可学习性的关联

    本文主要研究深度神经网络、近似能力和可学习性之间的复杂关系，提出了必须在浅层神经网络中近似目标函数的概念，并给出了多个范例证明了深度神经网络的分离性，并结论它们即使被高效近似，也不能被高效学习。

    Jan, 2021

  • 深度学习的统计理论综述：逼近、训练动态和生成模型调查

    这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。

    Jan, 2024

  • 使用近似张量运算加速神经网络训练

    通过对张量运算（矩阵乘法和卷积）应用基于样本的近似，提出了一种用于深度神经网络加速训练的新技术。应用到 MLP 和 CNN 网络的 MNIST，CIFAR-10 和 ImageNet 数据集的训练实验结果表明，该方法可以大幅度减少计算量和通讯量，并以不会对最终测试准确率产生可感知影响的方式提升训练速度。

    May, 2018

  • 深度神经网络的逼近空间

    研究深度神经网络的表现力，将其复杂性衡量为连接数或神经元数，通过近似理论建立了逼近空间，研究 skip-connections 和非线性对逼近空间的影响，将其与 Besov 空间联系起来，发现如果深度足够，即使函数平滑度很低，也能够很好地通过神经网络逼近。

    May, 2019

  • 深度网络中的理论问题：逼近、优化和泛化

    简述：对深度学习的理论研究逐渐深入，从表示能力到优化、从梯度下降的泛化性质到固有隐藏复杂性的到达方式，已经有了一些解释；通过在分类任务中使用经典的均匀收敛结果，我们证明了在每个层的权重矩阵上施加单位范数约束下最小化替代指数型损失函数的有效性，从而解决了与深度网络泛化性能相关的一些谜团。

    Aug, 2019