实时机器学习：遗失的部分

Mar, 2017

Real-Time Machine Learning: The Missing Pieces

Robert Nishihara, Philipp Moritz, Stephanie Wang, Alexey Tumanov, William Paul...

TL;DR针对机器学习在实时决策中的应用，提出需要一种新的分布式执行框架来实现毫秒延迟、高吞吐、任务图的自适应构建以及异构内核的执行等一系列要求，并提出了一个候选方案，其架构已经获得了 63 倍的性能提升。

Abstract

machine learning applications are increasingly deployed not only to serve predictions using static models, but also as tightly-integrated components of feedback loops involving dynamic, real-time decision making.

machine learning real-time decision making distributed execution framework task graphs heterogeneous kernels

发现论文，激发创造

朝向持续学习的应用性能模型

基于机器学习的性能模型在构建关键的作业调度和应用程序优化决策中越来越被使用。我们开发了持续学习性能模型，考虑到数据分布漂移，减轻灾难性遗忘，并提高泛化能力。我们的最佳模型能够保持准确性，无论系统变化引起的新数据分布，同时相比于朴素方法，在整个数据序列的预测准确度上提升了 2 倍。

Oct, 2023

通过机器学习加速计算机架构模拟

该论文提出了一种通过利用机器学习技术加速计算机体系结构模拟的方法，该方法利用应用特征和微架构特征的组合来预测应用程序的性能，通过构建和评估一个机器学习模型展示了在体系结构探索方面的显著加速能力。

Feb, 2024

分布式机器学习调查

本文介绍机器学习技术的发展以及为了应对更加复杂的应用而需要分布式系统来分担机器学习的工作负担，但分布式系统带来的挑战在于高效地并行训练过程和创建一个连贯的模型。文中提供了分布式机器学习领域当前的最新进展和系统概述。

Dec, 2019

机器学习的硬件：挑战与机遇

本文讨论了如何在各种硬件设计级别上解决机器学习中遇到的挑战，主要包括机器学习、传感器数据、嵌入式处理、能源消耗和硬件设计。

Dec, 2016

物联网分散协作式机器学习框架

提出了一种面向资源受限设备的分散协作机器学习框架，使用了基于原型的增量学习算法、基于随机的模型交换协议以及用于预测和原型创建的两种算法。与典型的集中式增量学习方法相比，在准确性、训练时间和鲁棒性方面取得了非常有前景的结果。

Dec, 2023

边缘实时智能：基于联邦元学习的协作学习框架

提出了一种基于联邦元学习的平台辅助协作学习框架，用于解决物联网边缘节点受限计算资源和数据局限性的问题，并实现了针对边缘目标节点的快速任务适应。此外，还提出了基于分布式鲁棒优化的鲁棒性联邦元学习算法，并在数据集上展示了其有效性。

Jan, 2020

重新思考流式机器学习评估

探讨了流式机器学习问题的本质，阐述了延迟标签等实际挑战，建议采用新的性能度量标准来评估模型。

May, 2022

TinyML: 工具、应用、挑战和未来研究方向

综述了 TinyML 的背景、各种支持 TinyML 的工具、利用先进技术进行 TinyML 的最新应用以及未来研究方向，TinyML 是一种嵌入式 ML 技术，使 ML 应用程序能够在多个廉价、资源和功耗受限设备上运行

Mar, 2023

大型语言模型实时学习的趋势和挑战：一项关键综述

该论文对大规模语言模型中的实时学习进行了综合分析，包括继续学习、元学习、参数高效学习和专家混合学习等实时学习范式。通过描述相关主题的具体成果和关键因素，论文展示了这些范式在实时学习方面的实用性。最后，该论文强调了当前研究领域中的问题和挑战，并通过整合最新相关研究进展，提供了对实时学习及其在解决现实问题的基于 LLM 的学习系统设计和开发中的意义的全面理解。

Apr, 2024

大规模机器学习中的动态控制流

本文介绍了一种支持动态控制流的分布式机器学习编程模型，并在 TensorFlow 中进行了实现和评估。通过使用数据流图来表示机器学习模型，该模型支持将条件语句的分支和循环体分配到多台设备上运行，从而提高了性能和可扩展性。

May, 2018