本文介绍了一种新的分层推理方法（hierarchical inference），旨在解决资源受限的边缘设备上深度学习推理的精度和开销问题，同时探讨了该方法在机器故障检测和图像分类应用中的可行性和优势。

Apr, 2023

本文提出了一个基于资源限制的多臂老虎机模型的在线学习框架，用于解决异构边缘设备的分布式机器学习问题，实验结果表明，该框架在学习性能和资源消耗之间的权衡方面显著优于现有的边缘学习和其他协作机器学习方法。

Apr, 2020

通过内部和外部优化，EdgeOL 边缘在线学习框架优化了推理准确率、微调执行时间和能量效率，平均降低了 82% 的微调执行时间和 74% 的能量消耗，并提高了 1.70% 的平均推理准确率。

Jan, 2024

我们提出了一种基于强化学习的计算卸载解决方案，它可以在考虑首选深度学习模型选择技术的情况下学习最佳卸载策略，以最小化响应时间同时提供足够的准确性，我们的解决方案在 AWS 和 ARM 核心配置的多个实现中提供 35％的加速，并且最少仅有 0.9％的准确性降低，展示了我们在线学习框架在边缘计算及联云系统中编配深度学习推理的潜力。

Feb, 2022

通过将基于模型的强化学习和无模型强化学习相结合，我们提出了一种混合学习策略，可以加速深度学习推理编配过程中寻找最佳编配策略的过程，并在实验中表现出比基于最新强化学习方法的编排方法加速学习过程 166.6 倍的高效性。

Feb, 2022

通过提出轻量级混合遗传算法来解决小型推理模型在边缘设备上动态分配推理任务以最大化推理准确度的问题，并与其他演化方法进行比较。

Feb, 2024

机器学习在分布式计算系统中被广泛应用于解释和预测行为，特别是在物联网设备产生大量数据时，通过边缘设备进行数据处理和机器学习训练。为了保证服务质量，系统通过机器学习进行监督和动态调整。然而，如果机器学习模型长时间不进行重新训练，它们可能无法准确捕捉到变量分布的渐变变化，导致对系统状态的错误预测。此外，随着预测准确度的降低，报告设备应主动解决不确定性以提高模型的精确性。脑神经科学中的主动推理（Active Inference）概念可以提供这种自主决策的能力，它描述了大脑如何不断预测和评估感觉信息以减少长期的惊奇感。我们在一个智能制造案例中实现了这些概念，通过一个单一的行动 - 感知循环实现了分布式智能体，展示了我们的主动推理代理能够在满足服务质量要求的同时快速和可追溯地解决优化问题。

Nov, 2023

提出了一种名为 HierTrain 的层次化边缘 AI 学习框架，使用深度神经网络在移动边缘云计算中进行训练，采用了新型的混合并行方法，旨在在边缘设备、边缘服务器和云中进行 DNN 模型层次的自适应分配，该框架在硬件原型上实现，比基于云的 Hierarchical Training 方法快了多达 6.9 倍。

Mar, 2020

该研究针对移动设备上的深度神经网络的推断，使用自适应模型划分的方法解决了通信延迟的问题，并对准确性进行了预测和校准，从而实现更可靠的推断决策。

Oct, 2020

近年来微型机器学习（TinyML）的最新进展为低占用嵌入式设备提供了实时的设备端机器学习能力。然而，TinyML 的实际实施面临着独特的挑战。本研究旨在弥合原型设计的单一 TinyML 模型与开发可靠的生产级 TinyML 系统之间的差距: (1) 在动态变化的条件下，嵌入式设备的操作。现有的 TinyML 解决方案主要集中于推断，使用在强大的计算机上进行离线训练的模型，并部署为静态对象。然而，在实际环境中，由于输入数据分布的演变，静态模型可能性能不佳。我们提出在线学习以实现在受限设备上的训练，并使本地模型适应最新的现场条件。(2) 然而，当前的设备端学习方法在部署条件异构和标注数据缺乏的情况下遇到困难，特别是在多设备上应用。 我们引入联邦元学习将在线学习结合在一起，以增强模型的泛化能力，促进快速学习。本方法通过知识共享确保分布式设备之间的最佳性能。(3) 此外，TinyML 的重要优势是被广泛采用。嵌入式设备和 TinyML 模型优先考虑高效率，导致资源的多样性，从内存和传感器到模型架构都具有多样性和非标准化的表示，因此在扩展 TinyML 系统时管理这些资源变得具有挑战性。 我们提出语义管理以进行模型和设备的联合管理。我们通过一个基本的回归示例演示了我们的方法，然后在三个真实的 TinyML 应用中进行评估：手写字符图像分类，关键词音频分类和智能建筑出席检测，验证了我们方法的有效性。

May, 2024