本文提出了 Device Tuning 方法来提高自注意力模型的计算效率，并通过压缩表示减少设备与云端之间的通信，有效支持多任务学习。

Feb, 2023

本文提出了一种名为 “Device-Cloud Collaborative Learning” 的框架，运用 “MetaPatch 学习” 及 “MoMoDistill” 算法实现了设备端和云端之间的合作学习，取得了较好的效果。

Apr, 2021

我们在日益相互连接的世界中，智能设备不断积累大量的个性化多模态数据，迫切需要提供高质量、个性化的设备感知服务。为了克服云端基于微调适应 (FTA) 存在的问题，我们引入了一种革新的通用 On-Device 多模态模型适应框架，通过在云端部署 Fast Domain Adaptor (FDA) 和设备上的轻量级多模态模型，实现了效率和效果的平衡。为了增强跨多模态任务的适应性，AnchorFrame Distribution Reasoner (ADR) 减少了通信成本。我们的贡献体现在 Cloud-Device Collaboration 多模态参数生成 (CDC-MMPG) 框架中，为 On-Device 多模态模型适应 (DMMA) 提供了先驱性的解决方案。广泛的实验证实了我们的方法的效率和效果，特别是在视频问答和检索任务中，推动了智能设备融入我们的日常生活。

May, 2024

提出了一种名为 IDEAL 的智能设备 - 云参数请求模型，其可以检测数据领域外的请求收入来保证高收益的自适应设备 - 云通信，利用协作学习和动态模型来实现高效的设备 - 云协作和动态推荐。实验结果表明 IDEAL 在四个公共基准测试中具有有效性和一般性。

Feb, 2023

多模态大型语言模型的云设备协作持续适应框架，通过利用云端大规模语言模型的强大能力，提升了压缩的设备部署的语言模型的性能，并且在多项实验中展现了优于以往知识蒸馏和设备云协作方法的优越性。

Dec, 2023

本文提出了一种名为 CoDA 的新的设备 - 云协作学习框架，用于解决推荐系统中的数据异质性问题，通过从云端检索类似的样本以增加用户本地数据集进行训练，并在设备上训练个性化样本分类器进行精细数据过滤，以此改善推荐系统的性能。在线 A/B 测试结果显示 CoDA 在云端学习和设备本地训练中都具有显著的性能优势。

Jan, 2022

该研究对小型神经网络的领域泛化进行了系统的研究，发现知识蒸馏是处理在设备上领域泛化问题的一个更好的技术，并提出了一种称为 O​KD 的方法来进一步改进 DG 在图像和语音应用领域中的性能。

Sep, 2022

本文的目标是研究点云分析中的参数高效迁移学习，以在任务性能和参数效率之间取得理想的平衡，通过冻结默认预训练模型的参数，并使用动态适配器和提示调整相结合的方法，捕捉每个标记的重要程度，要点功能以及实例特定特征的交互。通过在五个具有挑战性的数据集上进行的实验表明，所提出的方法在明显减少可训练参数和训练 GPU 存储空间（分别减少 95％和 35％) 的同时，实现了优于完全微调对应方法的性能。

Mar, 2024

该研究提出一种设备选择方法，优化联邦学习模型的性能和设备级别表现，通过探索和利用数据新鲜度，以及使用简化的设备贡献估计方法，采用改进的 Truncated Monte-Carlo 方法降低通信开销并提高模型的泛化和个性化表现。实验结果表明，该方法在通信开销和性能个性化方面与基准方案相比具有相当竞争力。

Mar, 2022

本研究提出了一种基于不确定性的对抗性贴片定位器，通过采用 DUET 算法来量化预测不确定性以查明对抗性贴片所在的图像区域，以允许后处理补丁避免或补丁重建，这对于自动驾驶汽车和医学成像等安全敏感应用至关重要。该研究还表明，在贝叶斯神经网络的不同层中采用等面积高斯先验，有助于在机器学习模型中实现更好的 patch localization 和 model generalization。

Mar, 2023