ICLRFeb, 2024

面向鲁棒高效的云边弹性模型适应：选择性熵蒸馏

PDF
TL;DR基于云边弹性模型适应（CEMA）范式，本文提出了一个在边缘设备上进行深度学习模型自适应的方法，通过前向传播和样本重放策略，更新和分发规范化层的仿射参数，以适应动态变化的环境，从而提高性能并减少通信负担。
deep learningedge devicesmodel adaptationdistribution shiftscloud-edge elastic model adaptation
发现论文，激发创造
  • 弹性异构计算资源下的大规模知识蒸馏

    本文提出了一种基于弹性计算资源的深度学习压缩方法，即 EDL-Dist，可用于从大型深度模型创建紧凑的学生模型，支持训练和推理过程的容错性，并且其吞吐量比在线知识蒸馏基准方法提高了 3.125 倍，而精度相当或更高。

    Jul, 2022

  • EdgeSync：通过自适应连续学习加速边缘模型更新以应对视频数据漂移

    通过使用远程服务器不断训练和调整轻量级模型，EdgeSync 筛选样本以考虑及时性和推理结果，从而提高实时视频分析系统的质量，并且通过测试数据集的评估，相比于现有方法提高了约 3.4%，相对传统方法提高了约 10%。

    Jun, 2024

  • 边缘设备上的分布式深度学习：通过自适应压缩实现可行性

    本研究提出了一种名为 adaComp 的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了 worker 更新模型数据压缩，通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验，并报告相对于标准异步随机梯度下降，在保持模型精度的同时，将工人发送到服务器的总数据量减少了两个数量级（例如，在 MNIST 数据集上的卷积网络中，减少了 191 倍）

    Feb, 2017

  • EdgeMA: 为边缘设备上实时视频分析的模型适应系统

    EdgeMA 是一个实际高效的视频分析系统，通过基于统计纹理特征的灰度共生矩阵提取和随机森林分类器检测领域转变，以及基于重要性加权的模型适应方法，解决了边缘设备上实时视频分析中数据漂移问题，并通过真实数据集的严格评估，结果表明 EdgeMA 显著提高了推理准确性。

    Aug, 2023

  • ECLM: 高效的边缘 - 云协作学习与持续环境适应

    通过 ECLM 边缘云协作学习框架，将边缘和云模型高效协作，在动态边缘环境中提高模型性能和资源利用效率。

    Nov, 2023

  • 通过深度神经网络的自适应模型分割辅助校准边缘推断卸载

    该研究针对移动设备上的深度神经网络的推断，使用自适应模型划分的方法解决了通信延迟的问题，并对准确性进行了预测和校准，从而实现更可靠的推断决策。

    Oct, 2020

  • RobustEdge: 云边系统中的低功耗对抗检测

    在云边场景中，为了可靠性和普遍部署，对于资源受限的边缘进行数据采集，而云系统（具有足够资源）进行深度神经网络的推理任务，对抗鲁棒性至关重要。为了提高边缘的能效和云端的鲁棒性，提出了一种适用于低功耗边缘的对抗检测方法。

    Sep, 2023

  • 资源受限边缘计算系统中的自适应联邦学习

    本文主要研究在边缘计算环境中使用分布式梯度下降学习模型参数的问题，提出控制算法以最小化给定资源预算下的损失函数，并通过真实数据集的大量实验评估算法性能。

    Apr, 2018

  • E$^{2}$GAN: 图像到图像翻译的高效 GAN 训练

    通过利用大规模的文本到图像扩散模型进行数据提炼，我们提出了一种更高效的方法，通过精细调整通用化特征的基础生成对抗网络模型，而不是重新训练整个基础模型，并采用简单但有效的秩搜索过程来进行低秩适应，从而显著减少了培训成本和与每个概念相关的存储，使得移动设备能够高效地实现实时高质量的图像编辑。

    Jan, 2024

  • EdgeConvEns：面向边缘智能的卷积集成学习

    此研究提出了一种被称为 EdgeConvEns 的卷积集成学习方法，它在边缘设备上训练异构弱模型，并学习将它们集成起来，从而提高整体的预测性能。通过在边缘设备上独立实现和训练 Field-Programmable Gate Array（FPGA）设备上的模型，并将学习到的数据表示传输到中央服务器，EdgeConvEns 能够在多种训练场景下更少的通信和数据使用的情况下，胜过当前最先进的性能。

    Jul, 2023