May, 2023

学习能力：模型有效维度的一种度量

PDF
TL;DR采用热力学和推理之间的形式对应来定义学习容量，该容量是对模型有效维度的度量，与 PAC-Bayesian 框架获得的容量概念具有数值上的一致性，是许多基于典型数据集训练的深度网络的参数数量的一小部分，而且取决于训练时使用的样本数量，可以用于理解有效维度，即使是对于随机森林和 kNN 分类器等非参数模型。
发现论文，激发创造
  • 任意可计算分类器的统计学习

    研究了在所有可计算标签函数中的学习，证明了这是可能的，但也表明了无法独立于分布地限制样本复杂度，这完全是由于学习算法可计算的要求，而不是统计问题的本性。

    Jun, 2008

  • 深度学习模型的双尺度复杂度度量

    我们引入了一种基于有效维度的统计模型的新容量度量 2sED。这个新数量在模型的温和假设下能证明地限制了泛化误差。此外，对标准数据集和流行的模型架构的模拟结果表明，2sED 与训练误差具有良好的相关性。对于马尔可夫模型，我们展示了如何通过分层迭代方法从下方高效地逼近 2sED，这使我们能够处理具有大量参数的深度学习模型。模拟结果表明，这种逼近适用于不同的突出模型和数据集。

    Jan, 2024

  • 语言模型的物理学：第 3.3 部分，知识容量的规模律

    通过多个受控数据集，我们建立了一种语言模型可以存储每个参数 2 比特知识的估计方法。此外，我们介绍了关于训练持续时间、模型体系结构、量化、稀疏约束以及数据信噪比如何影响模型的知识存储能力的 12 个结果。

    Apr, 2024

  • 深度模型参数计数的重新思考：有效维度再审视

    通过有效维度的视角，我们研究了神经网络在参数计数作为复杂度代理时的一些奇妙的泛化特性，包括双下降现象、模型选择、宽度 - 深度权衡和损失曲面的功能多样性，发现通过有效维度可以更好地了解深度模型中参数和函数之间的相互作用，并且比其他基于范数或平坦度的泛化度量方法更优。

    Mar, 2020

  • 具有通用激活函数的全连接双层神经网络的解空间和存储容量

    我们通过统计物理学中的复制法，分析具有通用激活函数的全连接双层神经网络的解空间结构和存储容量，并发现存储容量与参数的关系是有限的，在无限宽度的条件下，网络的权重表现出负相关性，并且随着数据集大小的增加，存在一个特定的转变点触发相变，权重的置换对称性被破坏，解空间分裂成不相交的区域。我们进一步确定了这一转变点和存储容量与激活函数的选择之间的依赖关系，这些发现有助于理解激活函数和参数数量对解空间结构的影响，可能为根据特定目标选择合适的架构提供了洞见。

    Apr, 2024

  • 神经语言模型的缩放律

    本文研究了语言模型性能对交叉熵损失计算的经验性规律，发现损失与模型大小、数据集大小和训练所用计算量呈幂律关系，而网络宽度或深度变化对性能影响较小，最优的计算效率可通过训练大型模型、使用适量数据并在达到最佳性能前停止训练来实现。

    Jan, 2020

  • 普适性学习理论

    本文研究了一种更贴近于实际机器学习应用的学习模型，但仍然在学习可能性方面提供了完整的理论，并通过探索万能学习问题的学习曲线发现，每个概念类的学习曲线都以指数、线性或任意缓慢的速率衰减，并提出了最优学习算法来实现每种情况下最佳的可能速率。

    Nov, 2020

  • 储层学习的限制

    该研究探讨了机器学习的计算限制、信息处理能力、水库计算机和二进制分类这些主要主题。

    Jul, 2023

  • 深度网络分析的学习曲线

    本研究探讨如何利用学习曲线来评估设计选择，例如预训练、架构和数据增强，发现了几个有趣的观察结果。

    Oct, 2020

  • 学习曲线理论

    本研究论文重点研究了神经网络中数据尺寸 (n) 对于训练或测试误差的普适性缩放规律，并通过研发最简单的模型来分析学习曲线，探究数据分布是否对于这种规律产生影响。

    Feb, 2021