May, 2024

无反向传播多模态在设备上通过云设备协作进行模型适应

PDF
TL;DR我们在日益相互连接的世界中，智能设备不断积累大量的个性化多模态数据，迫切需要提供高质量、个性化的设备感知服务。为了克服云端基于微调适应 (FTA) 存在的问题，我们引入了一种革新的通用 On-Device 多模态模型适应框架，通过在云端部署 Fast Domain Adaptor (FDA) 和设备上的轻量级多模态模型，实现了效率和效果的平衡。为了增强跨多模态任务的适应性，AnchorFrame Distribution Reasoner (ADR) 减少了通信成本。我们的贡献体现在 Cloud-Device Collaboration 多模态参数生成 (CDC-MMPG) 框架中，为 On-Device 多模态模型适应 (DMMA) 提供了先驱性的解决方案。广泛的实验证实了我们的方法的效率和效果，特别是在视频问答和检索任务中，推动了智能设备融入我们的日常生活。
personalized device-aware servicesartificial intelligence systemson-device model adaptationmulti-modal tasksintelligent devices
发现论文，激发创造
  • 面向多模态大型语言模型的云设备协作学习

    多模态大型语言模型的云设备协作持续适应框架，通过利用云端大规模语言模型的强大能力，提升了压缩的设备部署的语言模型的性能，并且在多项实验中展现了优于以往知识蒸馏和设备云协作方法的优越性。

    Dec, 2023

  • 设备 - 云协作学习推荐

    本文提出了一种名为 “Device-Cloud Collaborative Learning” 的框架，运用 “MetaPatch 学习” 及 “MoMoDistill” 算法实现了设备端和云端之间的合作学习，取得了较好的效果。

    Apr, 2021

  • 联邦多目标域自适应

    提出一种新的基于联邦学习的多目标领域自适应算法，通过对模型性能的分析，发现现有领域自适应方法在面对该问题时存在的问题，并提出一种有效的 DualAdapt 方法来解决这些问题。在图像分类和语义分割任务上的大量实验结果表明，我们的方法在客户端设备上实现高准确度，最小通信成本和所需计算资源低。

    Aug, 2021

  • 推荐系统中云协调数据增强的本地学习技术，进行极端个性化模型个性化

    本文提出了一种名为 CoDA 的新的设备 - 云协作学习框架，用于解决推荐系统中的数据异质性问题，通过从云端检索类似的样本以增加用户本地数据集进行训练，并在设备上训练个性化样本分类器进行精细数据过滤，以此改善推荐系统的性能。在线 A/B 测试结果显示 CoDA 在云端学习和设备本地训练中都具有显著的性能优势。

    Jan, 2022

  • DUET：一种无需调优的设备 - 云协作参数生成框架，用于高效设备模型泛化

    本文通过提出一个新的对设备模型泛化的框架 DUET, 实现了不增加计算成本的 DMG 的改善，通过在强大的云服务器上部署，从而在不进行微调前提下，通过设备特定参数生成直接映射数据分布和参数。

    Sep, 2022

  • FMDA-OT：通过最优传输进行联邦多源域适应

    通过多源领域自适应的合作性框架，使用最优传输分别进行源领域自适应和目标领域自适应，并利用中央化联合学习架构协同多个源的模型，解决领域自适应中的数据隐私问题。

    Apr, 2024

  • IDEAL: 高效设备云协同动态推荐系统

    提出了一种名为 IDEAL 的智能设备 - 云参数请求模型，其可以检测数据领域外的请求收入来保证高收益的自适应设备 - 云通信，利用协作学习和动态模型来实现高效的设备 - 云协作和动态推荐。实验结果表明 IDEAL 在四个公共基准测试中具有有效性和一般性。

    Feb, 2023

  • 多模态数据自适应融合技术

    本研究提出了两种自适应融合网络（Auto-Fusion、GAN-Fusion），通过对不同模态的特征进行有效的上下文建模，在多模态机器翻译和情感识别等任务中取得了比现有方法更好的效果。

    Nov, 2019

  • SUMMIT: 单模型无源适应到多模态目标

    我们提出了一种通过自动选择两种互补的交叉模态伪标签融合方法（一致性过滤和熵加权），来解决在没有访问原始源数据集的情况下，将在单模数据上独立训练的一组模型调整到由未标记的多模数据组成的目标领域的问题。

    Aug, 2023

  • FusionAD: 自动驾驶的预测和规划任务的多模态融合

    FusionAD 是第一个将相机和激光雷达传感器融合的统一框架，通过多模态特征的优势，在感知任务中实现了领先水平。

    Aug, 2023