本文采用实证方法针对机器翻译、语言建模、图像处理和语音识别等4个机器学习领域的数据，研究训练集大小、模型规模与推广误差之间的关系，结果表明推广误差遵循幂定律缩放，且模型改进只改变误差而不影响幂指数。此外，模型大小随数据规模的增大缩小，这些研究对于深度学习的研究、实践和系统设计具有重要意义。

Dec, 2017

通过功能近似，我们证明了迭代幅值修剪网络的错误可以预测，并且遵循对网络结构、任务、修剪等级等参数的不变性；我们表明这个近似适用于大规模数据和体系结构，从而为未来构建大规模网络提供了有用的理论支持。

Jun, 2020

本文提出了一种新的方法，将正则化引入到神经网络的剪枝问题中，并提出了一种增量L2规范化变量的方法来解决剪枝安排和权重重要性评分的问题。这种增量非常成功，使得我们的算法在结构化和非结构化的剪枝条件下都具有可扩展性，并在CIFAR和ImageNet数据集上取得了与许多现有算法相媲美的结果。

Dec, 2020

该研究提出了一种理论，解释并连接训练数据集大小和网络参数数量与已训练神经网络的测试损失之间的精确定义的幂律关系，并通过说明数据流形和一些核的频谱之间的等效性来解释了分辨率有限的缩放行为。

Feb, 2021

本篇研究介绍一种更严谨的方法来预测深度学习中的规模效益，提供了一种可靠的方法来估计缩放参数并通过发布基准数据集以帮助该领域的研究。

Sep, 2022

本研究探索了对比语言-图像预训练（CLIP）的缩放定律，使用了公共数据集和开放源代码来研究缩放规律，并发现训练分布在缩放规律中起关键作用。通过在多个下游任务中评估最大规模的公共CLIP模型，我们发现在多个下游任务中，有效训练集大小、模型大小和计算量与性能之间具有幂律缩放关系。

Dec, 2022

AdaPruner是一种自适应数据集修剪框架，通过消除冗余的训练样本和减少计算和内存开销来提高模型性能和效率，可以在无需显式定义度量标准的情况下有效地修剪数据集并进行模型微调，展现了高可伸缩性和兼容性，并在修剪了训练数据的情况下显著提高了模型性能，同时节省了存储和计算成本。

Dec, 2023

神经网络的表现在训练时间、数据集大小和模型大小上预测性地提高，这一现象被称为神经缩放定律，而计算最优缩放定律则是将性能作为计算单元函数以选择模型大小来报告的；研究表明，神经网络在训练早期以$1/ extit{width}$的速度收敛到无限宽度动力学，但在后期表现为$ extit{width}^{-c}$的速度，其中$c$取决于架构和任务的结构；此外，理论上显示了由于数据的重复重用，训练和测试损失之间的差距可以随时间逐渐增大。

Feb, 2024

本研究旨在解决神经网络规模与数据量对性能提升影响的缺口。提出了一种新颖的理论框架，展示模型规模、训练时间和数据量三者如何相互影响，形成规模时间等价性。这一发现不仅挑战了目前的小模型短训练时间的实践，还为评估和优化大型网络性能提供了预测方法，具有重要的实际应用价值。

Sep, 2024

本研究旨在探讨在训练神经网络时，是否总是会利用所有可用权重，即使任务可以通过更少的权重解决。研究表明，模型的宽度对可剪枝权重比例的影响有限，且在不同大小的模型中，绝大多数权重的剪枝能力是一致的。此发现提示在各种模型规模下均存在显著的剪枝潜力，具有重要的实践意义。

Oct, 2024