自 2012 年至 2023 年，使用 Wikitext 和 Penn Treebank 的 200 多个语言模型评估数据集，我们发现为达到一定性能门槛所需的计算量每 8 个月减少一半，置信区间为 5 到 14 个月，远快于 Moore 定律关于硬件提升的速度。我们估计了增强的缩放定律，可以量化算法进展并确定缩放模型与训练算法创新的相对贡献。尽管算法进展迅速且新架构（如变压器）的发展，我们的分析显示在这段时间内计算量对整体性能改进的贡献更大。尽管受噪声基准数据限制，我们的分析量化了语言建模的快速进展，并阐明了计算量与算法的相对贡献。

Mar, 2024

本文研究现代机器学习中指导进步的三个基本因素：计算、数据和算法。我们着重研究了计算这一因素在训练中的变化趋势，并发现自从深度学习的出现以来，训练计算的扩展速度加快，大约每 6 个月翻倍一次。此外，我们还将计算在机器学习中分为三个时代：深度学习前，深度学习时代和大规模时代。总体上，我们的工作强调了训练高级机器学习系统所需计算的快速增长。

Feb, 2022

通过将深度学习的效率作为评估标准之一，并建议报告开发、训练和运行模型的财务成本，以提供研究越来越高效方法的基准，本文旨在使人工智能更加绿色和包容，实现任何有灵感的本科生都可以编写高质量的研究论文。

Jul, 2019

本文提出了一个新的竞争性算法基准测试，AlgoPerf：训练算法基准测试，在多个工作负载上运行固定的硬件，解决了评估训练算法改进的三个基本挑战，包括如何确定训练何时结束和精确测量训练时间，如何处理测量对确切工作负载细节的敏感性，以及如何公平比较需要超参数调整的算法。在本基准测试中，评估了基线结果和各种优化器构建的基线提交，最终证明了新基准测试的可行性。

Jun, 2023

AI 的碳排放问题及效率优化的机会和可持续性

Jun, 2024

通过对深度学习应用的依赖程度的分析，本文发现目前的进展主要依赖计算能力的提升。然而，这种趋势在经济、技术和环境上都具有不可持续性。因此，要想在这些应用领域取得更进一步的进展就必须依靠更为高效的计算方法，这要么意味着改变深度学习的方法，要么就是使用其他机器学习方法。

Jul, 2020

介绍了深度学习效率问题和五个核心领域，包括建模技术、基础设施和硬件，并提出实验指南和代码，为实践者优化模型培训和部署提供支持。这是第一个详尽的调查，涵盖了从建模技术到硬件支持的模型效率领域，帮助实践者实现改进并装备他们以进行进一步的研究和实验。

Jun, 2021

本文对深度神经网络在计算机视觉领域中的重要应用指标进行全面分析，发现能耗与批次大小和架构无关，准确度和推断时间在双曲线关系中，能源约束是最大可实现准确度和模型复杂度的上限，操作次数是推断时间的可靠估计。

May, 2016

近年来，机器学习（ML）和神经网络（NNs）在各个领域广泛使用和受到关注，特别是在交通运输领域实现自主性，包括城市空中出租车（UAM）的出现。然而，对认证的担忧已经出现，强调了需要包含整个 ML 和 NN 管道的标准化过程的发展。本文深入研究了推理阶段和所需的硬件，突出了与 IEEE 754 浮点算术相关的挑战，并提出了替代的数字表示方法。通过评估不同的求和和点积算法，我们旨在减轻与非关联性有关的问题。此外，我们对定点算术的探索揭示了它相对于浮点方法的优势，显示出显著的硬件效率。采用经验方法，我们确定了实现可接受的精度所需的最佳位宽，考虑到位宽优化的固有复杂性。

Jan, 2024

过去十年来，深度学习模型在各种视觉感知任务中取得了显著进展，但其高计算资源需求限制了其在实际应用中的可行性。本综述通过四个关键领域的研究，即轻量级骨干模型的发展、面向特定计算机视觉任务的专用网络架构或算法、深度学习模型压缩技术以及在硬件平台上部署高效深度网络的策略，对计算效率高的深度学习进行了广泛分析，并讨论了该领域面临的关键挑战和未来研究方向。

Aug, 2023