实现绿色机器学习服务的架构设计决策鉴别
本研究旨在通过研究绿色机器学习，考察不同模型架构和超参数在训练和推理阶段中的能效实践，以提供可持续的机器学习操作的实用指南，强调降低能耗和碳足迹同时保持性能。
Jun, 2024
最近在生成人工智能、计算机视觉和自然语言处理方面的进展，已经使得人工智能模型得到了广泛应用。这种广泛应用需要在生产环境中部署这些模型，确保可靠性、最小的停机时间以及优化基础设施的运营成本。大型机器学习模型经常需要 GPU 资源以进行高效推理，以满足服务级别目标。在这些趋势的背景下，人们越来越关注在无服务器架构中托管 AI 模型，并提供推理任务的 GPU 访问。这项调查旨在总结和分类大规模深度学习服务系统中的新兴挑战和优化机会。通过提供新颖的分类法和总结最近的趋势，我们希望这项调查能为大规模深度学习服务系统的新的优化视角提供启示，并激发出创新作品。
Nov, 2023
通过分析 51 篇与 Green AI 相关的同行评审出版物和三位专家的焦点小组讨论，我们提供了 30 种 ML-enabled 系统的绿色架构策略的目录，旨在填补这一领域缺口，并且为进一步探索软件工程角度的 Green AI 和设计可持续的 ML-enabled 系统提供初始参考指南，这些策略有潜力在能源和碳足迹方面显著减少 ML-enabled 系统的社会影响。
Dec, 2023
本文对大型语言模型（LLMs）的推理服务中能源效率的权衡进行了研究，通过探索延迟、吞吐量和能源之间的平衡，提供了优化能源使用的有价值见解，为数据中心环境中可持续且具有成本效益的 LLM 部署铺平了道路。
Mar, 2024
建立在生成式、多用途 AI 系统基础上的商业 AI 产品近年来越来越受欢迎，然而，由于这些系统所需的能源和排放的碳量的增加，这种 “通用性” 的雄心勃勃使环境付出了巨大代价。在这项工作中，我们首次对各类机器学习系统的持续推理成本进行了系统比较，既包括特定任务的（即执行单一任务的微调模型），也包括多任务的（即为多个任务训练的）“通用型” 模型。我们以执行 1000 次推理在典型基准数据集上所需的能源和碳排放作为部署成本进行度量。我们发现，就各种任务而言，相比于特定任务的系统，多用途、生成式结构的模型成本高出若干数量级，即便在控制模型参数数量时也是如此。我们最后讨论了部署多用途生成型机器学习系统的当前趋势，并警示应更加有意识地权衡其效用与能源和排放上升之间的成本。我们的研究数据可通过交互演示获得，以进行进一步探索和分析。
Nov, 2023
本研究分析了选择适当的模型架构和训练环境可以显著降低计算机视觉模型的能源消耗，同时保持模型正确性，也发现对于更好的能源效率，GPU 应该与模型的计算复杂度进行比例缩放。
Jul, 2023
机器学习和生成型人工智能的巨大能源消耗对运营成本、电力传输和环境可持续性产生负面影响。然而，通过 Zeus 和 Perseus 的两项最新工作，我们发现软件在机器学习能耗优化方面起着关键作用。特别是对于大型语言模型，由于其模型大小和能源需求增长速度超过硬件效率改进的速度，因此我们主张采用跨层次方法来优化机器学习系统中的能源利用，其中硬件提供支持架构，推动能源高效软件的进一步发展，软件则利用和抽象硬件的特性，开发能够实现与硬件无关的能源效率提升技术。
Apr, 2024
该研究探讨了电力行业由中央集中化向分散化的转变，重点关注了机器学习在推动可再生能源和改善电网管理方面的关键作用。研究使用了人工神经网络、支持向量机和决策树等多种技术，将机器学习模型应用于预测可再生能源的生成和消耗，并采用数据预处理方法提高预测准确性。通过结合大数据和机器学习技术，智能电网能够提高能源效率、更有效地响应需求并更好地整合可再生能源。然而，需要解决大数据处理、网络安全和获取专业技术等挑战。总之，该研究揭示了电力行业由中央集中化向分散化解决方案转变，并通过应用机器学习创新和分布式决策塑造了更高效和可持续的能源未来。
Oct, 2023
机器学习在分布式计算系统中被广泛应用于解释和预测行为，特别是在物联网设备产生大量数据时，通过边缘设备进行数据处理和机器学习训练。为了保证服务质量，系统通过机器学习进行监督和动态调整。然而，如果机器学习模型长时间不进行重新训练，它们可能无法准确捕捉到变量分布的渐变变化，导致对系统状态的错误预测。此外，随着预测准确度的降低，报告设备应主动解决不确定性以提高模型的精确性。脑神经科学中的主动推理（Active Inference）概念可以提供这种自主决策的能力，它描述了大脑如何不断预测和评估感觉信息以减少长期的惊奇感。我们在一个智能制造案例中实现了这些概念，通过一个单一的行动 - 感知循环实现了分布式智能体，展示了我们的主动推理代理能够在满足服务质量要求的同时快速和可追溯地解决优化问题。
Nov, 2023