KDDApr, 2021

设备 - 云协作学习推荐

PDF
TL;DR本文提出了一种名为 “Device-Cloud Collaborative Learning” 的框架，运用 “MetaPatch 学习” 及 “MoMoDistill” 算法实现了设备端和云端之间的合作学习，取得了较好的效果。
device-cloud collaborative learningmetapatch learningmomodistillmobile devicesreal-time features
发现论文，激发创造
  • 通过元控制器实现设备云协同推荐

    本研究提出一种基于 meta 控制器和因果透视的样本构建方法以解决设备层和云端层之间协同推荐的问题，并在工业推荐场景中展示了 meta 控制器的潜力。

    Jul, 2022

  • 推荐系统中云协调数据增强的本地学习技术，进行极端个性化模型个性化

    本文提出了一种名为 CoDA 的新的设备 - 云协作学习框架，用于解决推荐系统中的数据异质性问题，通过从云端检索类似的样本以增加用户本地数据集进行训练，并在设备上训练个性化样本分类器进行精细数据过滤，以此改善推荐系统的性能。在线 A/B 测试结果显示 CoDA 在云端学习和设备本地训练中都具有显著的性能优势。

    Jan, 2022

  • 面向多模态大型语言模型的云设备协作学习

    多模态大型语言模型的云设备协作持续适应框架，通过利用云端大规模语言模型的强大能力，提升了压缩的设备部署的语言模型的性能，并且在多项实验中展现了优于以往知识蒸馏和设备云协作方法的优越性。

    Dec, 2023

  • IDEAL: 高效设备云协同动态推荐系统

    提出了一种名为 IDEAL 的智能设备 - 云参数请求模型，其可以检测数据领域外的请求收入来保证高收益的自适应设备 - 云通信，利用协作学习和动态模型来实现高效的设备 - 云协作和动态推荐。实验结果表明 IDEAL 在四个公共基准测试中具有有效性和一般性。

    Feb, 2023

  • ECLM: 高效的边缘 - 云协作学习与持续环境适应

    通过 ECLM 边缘云协作学习框架，将边缘和云模型高效协作，在动态边缘环境中提高模型性能和资源利用效率。

    Nov, 2023

  • 无反向传播多模态在设备上通过云设备协作进行模型适应

    我们在日益相互连接的世界中，智能设备不断积累大量的个性化多模态数据，迫切需要提供高质量、个性化的设备感知服务。为了克服云端基于微调适应 (FTA) 存在的问题，我们引入了一种革新的通用 On-Device 多模态模型适应框架，通过在云端部署 Fast Domain Adaptor (FDA) 和设备上的轻量级多模态模型，实现了效率和效果的平衡。为了增强跨多模态任务的适应性，AnchorFrame Distribution Reasoner (ADR) 减少了通信成本。我们的贡献体现在 Cloud-Device Collaboration 多模态参数生成 (CDC-MMPG) 框架中，为 On-Device 多模态模型适应 (DMMA) 提供了先驱性的解决方案。广泛的实验证实了我们的方法的效率和效果，特别是在视频问答和检索任务中，推动了智能设备融入我们的日常生活。

    May, 2024

  • 面向协作智能友好的深度学习架构

    本文提出了一种新的协作智能友好型架构，通过将移动设备上计算的中间特征卸载到云端以降低需要发送到云端的数据量，使得在 ResNet-50 模型上，相比现有的云端计算方法，端到端延迟和移动能耗分别平均提高了 53 倍和 68 倍，而精度损失不到 2%。

    Feb, 2019

  • DUET：一种无需调优的设备 - 云协作参数生成框架，用于高效设备模型泛化

    本文通过提出一个新的对设备模型泛化的框架 DUET, 实现了不增加计算成本的 DMG 的改善，通过在强大的云服务器上部署，从而在不进行微调前提下，通过设备特定参数生成直接映射数据分布和参数。

    Sep, 2022

  • 云移结合 在机器学习中的应用

    通过模型分割和设计调度程序，我们将计算任务在移动设备和云端之间进行灵活而细粒度的分配，从而既减少用户的等待时间，又优化云端的工作负载。

    Jan, 2024

  • 云、移动和边缘环境中的分布式学习综述

    在深度学习、卷积神经网络和大型语言模型的时代，机器学习模型变得越来越复杂，需要大量的计算资源进行推理和训练。为了解决这个挑战，分布式学习已经成为一种关键方法，通过在各种设备和环境中进行并行化来实现。本调查研究对分布式学习的领域进行了探索，涵盖了云端和边缘设置。我们深入研究了数据和模型并行性的核心概念，研究了如何在不同维度和层次上对模型进行分割以优化资源利用和性能。我们分析了针对不同层类型的各种分割方案，包括全连接层、卷积层和循环层，突出了计算效率、通信开销和内存限制之间的权衡。这项调查研究通过比较和对比不同背景下的分布式学习方法，为未来的研究和发展提供了宝贵的见解。

    May, 2024