本研究考察了在数据受限的情况下缩放语言模型的方法以及采用重复数据进行训练的效果，并提出了可衡量计算优化性的缩放规律，并尝试通过增加训练数据或去除常用过滤器等方式缓解数据稀缺问题。

May, 2023

介绍了如何建立大规模数据集用于机器学习，提出了处理数据瓶颈问题的分类方法，旨在提高社区对这些方法的认识并促进资源的更有效利用。

Nov, 2022

本文研究了数据的时效性对机器学习模型准确性和商业价值的影响，发现随着时间的推移，数据的价值会递减，与此同时包括更多的过时数据可能会降低模型的准确性，并提出了在历史数据与新数据之间寻求平衡的增长策略。

Mar, 2022

研究发现在过去 70 年里，语言模型的模型尺寸增加了 7 个数量级，在 2018 年至 2022 年的 4 年间加速增长了 5 个数量级，而视觉模型则保持了更稳定的增长；针对 21-70B 参数范围的模型短缺性，研究者提出两种可能的解释并分别进行了讨论

Jul, 2022

自 2012 年至 2023 年，使用 Wikitext 和 Penn Treebank 的 200 多个语言模型评估数据集，我们发现为达到一定性能门槛所需的计算量每 8 个月减少一半，置信区间为 5 到 14 个月，远快于 Moore 定律关于硬件提升的速度。我们估计了增强的缩放定律，可以量化算法进展并确定缩放模型与训练算法创新的相对贡献。尽管算法进展迅速且新架构（如变压器）的发展，我们的分析显示在这段时间内计算量对整体性能改进的贡献更大。尽管受噪声基准数据限制，我们的分析量化了语言建模的快速进展，并阐明了计算量与算法的相对贡献。

Mar, 2024

通过 JFT-300M 数据集进行实验研究，发现模型的训练数据量与视觉任务的表现成对数关系，预训练模型仍具有很大的潜力，同时通过该数据集在不同视觉任务上得到了新的最优表现。希望研究者重视数据集构建和扩大规模的重要性。

Jul, 2017

本文将数据预算问题研究为两个子问题：预测给定足够数据的饱和性能，以及需要多少数据点才能接近饱和性能。相较于传统的数据独立方法，提出了一种基于学习的方法，并通过 383 个 ML 数据集的经验评估表明，可以仅用 50 个数据点的小型研究数据集进行数据预算。

Oct, 2022

本文研究机器学习系统的数据需求估计问题，通过探究一系列广义幂律函数来更准确地估计数据集规模与目标性能之间的关系，并通过引入校正因子和多轮数据采集策略来优化数据需求估计模型，从而实现开发时间和数据获取成本的节省。

Jul, 2022

该研究旨在量化语言资源之间的不平等性，并提出一些方法来改善低资源语言的数据收集，以促进未来的多语言数据发展。

Nov, 2022

本文研究了语言模型性能对交叉熵损失计算的经验性规律，发现损失与模型大小、数据集大小和训练所用计算量呈幂律关系，而网络宽度或深度变化对性能影响较小，最优的计算效率可通过训练大型模型、使用适量数据并在达到最佳性能前停止训练来实现。

Jan, 2020