Mar, 2020

深度模型参数计数的重新思考：有效维度再审视

HTML
PDF
TL;DR通过有效维度的视角，我们研究了神经网络在参数计数作为复杂度代理时的一些奇妙的泛化特性，包括双下降现象、模型选择、宽度-深度权衡和损失曲面的功能多样性，发现通过有效维度可以更好地了解深度模型中参数和函数之间的相互作用，并且比其他基于范数或平坦度的泛化度量方法更优。
发现论文，激发创造
  • 深度学习模型中参数数量与泛化能力的关系及数量级的估算

    本文通过神经切向核将大型神经网络连接到核方法，探讨了初始化会导致神经网络输出函数在期望附近产生有限大小的随机波动，影响分类的广义误差。我们最终的分析表明，在计算限制条件下，使用几个中间大小的网络，略高于阈值点，对它们的输出求平均，可以获得最小的分类误差。

    Jan, 2019

  • 所有层都是平等的吗？

    本文研究过参数化深度神经网络的层级功能结构和行为，通过实验重置权重值并从层的鲁棒性与性能下降角度分析了网络层级的异质性，提供了理论分析证明“健壮”与“关键”层的存在，并呼吁关注模型的“平坦性”和“稳健性”以实现深度模型的广义化。

    Feb, 2019

  • 高维神经切向核: 三倍下降与广义化的多尺度理论

    深度学习模型参数通常大于所需，然而其测试误差在过拟合阈值附近有极值和下降，在过参数化区间反而下降，神经切向核模型可以提供有关真实神经网络的细节。

    Aug, 2020

  • 深度神经网络中的低秩简约偏差

    本文提出深度神经网络可归纳地更倾向于寻找低秩嵌入的解，这种偏见在网络深度和宽度，初始化和训练过程中都存在，并且能够提高CIFAR和ImageNet数据集的泛化性能。

    Mar, 2021

  • 学习能力：模型有效维度的一种度量

    采用热力学和推理之间的形式对应来定义学习容量，该容量是对模型有效维度的度量，与PAC-Bayesian框架获得的容量概念具有数值上的一致性，是许多基于典型数据集训练的深度网络的参数数量的一小部分，而且取决于训练时使用的样本数量，可以用于理解有效维度，即使是对于随机森林和kNN分类器等非参数模型。

    May, 2023

  • SANE：通过锐度调整的有效参数数量优化的梯度下降阶段

    本文研究神经网络的Hessian矩阵在训练过程中的应用，提出了SANE用于模型比较，并探究了大学习率下Hessian矩阵的偏移及其对深度神经网络的影响。

    May, 2023

  • 神经网络中从损失平坦性到压缩表示的简单连接

    深度神经网络的泛化能力在参数空间的损失景观形状和特征空间（即单位活动的空间）的表示流形结构两个不同的方法中已经被研究，但很少一起研究并显式连接。我们提出了一个简单的分析，建立了它们之间的联系，并展示了表明在深度神经网络的学习的最后阶段，神经表示流形的体积压缩与参数优化过程中所探索的最小值周围的损失的平坦性相关的结果。

    Oct, 2023

  • 统计学习中关于参数计数的重新思考：双下降的转向

    传统统计学智慧揭示了模型复杂度和预测误差之间的关系，但最近的研究提出了双峰现象的理论，即在参数个数超过样本大小时，测试误差会出现第二次下降。本研究挑战了此理论，并通过对经典统计机器学习方法的细致研究，提出了双峰现象的解释，认为其位置与插值阈值无直接关联，并且通过采用非参数统计学的视角，证明其曲线实际上符合传统的凸形状，解决了双峰现象和统计直觉之间的矛盾。

    Oct, 2023

  • 基于类别的激活解读深度双下降之谜

    该研究重新审视了双下降现象，探讨其发生条件，并引入类激活矩阵的概念和一种估计函数有效复杂性的方法，揭示超参数化模型在隐藏激活中展现出更明显和更简单的类别模式。通过全面分析并提供相应的实证证据来验证或反驳这些假设，旨在为双下降现象和良性超参数化提供新的洞察，并促进未来的探索。

    May, 2024

  • 自然梯度下降比随机梯度下降收敛到更少病态解

    本研究解决了模型复杂性测量的问题，关注如何以更准确的有效维度来评估模型的学习能力。通过引入学习系数$\lambda$，比较自然梯度下降与随机梯度下降训练的模型，发现自然梯度下降所训练的模型具有更高的有效维度，表明其在学习效率上的潜在优势。

    Sep, 2024