提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

Jun, 2018

通过压缩 - 编译器共同设计可以在主流的移动设备上实现实时人工智能，而无需专用硬件支持。CoCoPIE 是一个支持所有主要 DNN 类型的框架，包括 CNN，RNN，转换器，语言模型等等，并且能够在现成的移动设备上运行许多典型的 AI 应用程序。在能源效率和性能方面，Off-the-shelf 移动设备也能胜过一些典型的 ASIC 和 FPGA 硬件解决方案。

Mar, 2020

最近的大规模语言模型等新型大规模混合模态工作负载大大增加了硬件的计算和内存需求。为了应对不断增长的需求，设计可扩展的硬件架构成为一个关键问题。在最近的解决方案中，基于 2.5D 硅互联器多芯片模块（MCM）的人工智能加速器已被广泛探索，由于其在低工程成本和可组合性方面具有显著优势。然而，以前的 MCM 加速器是基于具有固定数据流的同构架构，对于高度异构的多模型工作负载存在重大挑战，因为它们的工作负载适应性有限。因此，在本研究中，我们探索了采用异构数据流 MCM 人工智能加速器的机会。我们确定了在异构数据流 MCM 人工智能加速器上进行多模型工作负载调度是一个重要且具有挑战性的问题，由于其重要性和规模，即使在 6x6 芯片的单模型情况下，也达到 O（10 ^ 18）规模。我们开发了一组启发式方法来遍历巨大的调度空间，并将它们整理成具有高级技术（如芯片间流水线）的调度器。我们对十种多模型工作负载场景进行的评估（包括数据中心多租户和增强现实 / 虚拟现实应用）显示了我们方法的有效性，相比于同构基线，平均能减少 35.3% 和 31.4% 的能量 - 延迟产品（EDP）。

May, 2024

通过实验我们的框架在 4 芯片系统上对 GPT-2 和 ResNet-50 模型的使用，相较于优化输出固定数据流的整体加速器，吞吐量和能效分别提高了 2.2 倍和 1.9 倍。

Dec, 2023

本文介绍了机器学习在资源受限的微控制器上的应用，使用神经结构搜索算法来设计满足内存、延迟和能耗限制的模型，并通过可微分神经结构搜索算法搜索出了具有低内存使用和低操作计数的 MicroNet 模型，验证该文述方法在视觉唤醒词、音频关键词检测和异常检测等领域的优越性。

Oct, 2020

Symphony 是一个集中式调度系统，用于在 GPU 集群上协调深度神经网络模型推断。它通过使用非工作保持调度算法实现高批量效率，并能够自动扩展。Symphony 利用基于计算和内存需求的模型将模型分配给子集群的大规模算法，经过广泛的实验，证明了其比之前的系统具有高达 4.7 倍的吞吐量。

Aug, 2023

本文比较了四种最先进的算法在两个实际应用中的效果，其中之一是基于加速度计数据的手势识别，另一个是图像分类，结果证实了这些系统的可靠性和在微型存储器 MCUs 中部署的可行性。

Sep, 2022

深入分析了高效神经网络和深度学习模型在超低功耗微控制器上部署的细微机器学习（TinyML）应用的进展，并指出了未来的研究方向。

Nov, 2023

Tiny Machine Learning （TinyML）是机器学习的新领域。通过将深度学习模型应用于无数物联网设备和微控制器（MCU），我们扩大了人工智能应用的范围并实现了无处不在的智能。然而，由于硬件限制，TinyML 具有一定挑战性，因为内存资源有限，难以容纳为云和移动平台设计的深度学习模型；同时，裸机设备对编译器和推理引擎的支持有限。因此，我们需要对算法和系统栈进行共同设计，以实现 TinyML。在此综述中，我们首先讨论 TinyML 的定义、挑战和应用；接下来，我们调查了最近在 MCUs 上 TinyML 和深度学习的进展；然后，我们介绍了 MCUNet，展示了如何通过系统 - 算法共同设计，在物联网设备上实现 ImageNet 规模的人工智能应用；我们还将解决方案从推理扩展到训练，并介绍了小型设备上的训练技术；最后，我们展示了这个领域的未来发展方向。今天的大型模型可能成为明天的小型模型，TinyML 的范围应该随着时间的推移而不断发展和适应。

Mar, 2024

通过在边缘环境中利用众多具备空闲资源的边缘设备，提出 Galaxy 协同式边缘人工智能系统，使用混合模型并行和异构感知并行规划来高效加速 Transformer 推理，实现边缘计算中最多 2.5 倍的端到端延迟缩减。

May, 2024