Jan, 2022

推荐系统中云协调数据增强的本地学习技术，进行极端个性化模型个性化

PDF
TL;DR本文提出了一种名为 CoDA 的新的设备 - 云协作学习框架，用于解决推荐系统中的数据异质性问题，通过从云端检索类似的样本以增加用户本地数据集进行训练，并在设备上训练个性化样本分类器进行精细数据过滤，以此改善推荐系统的性能。在线 A/B 测试结果显示 CoDA 在云端学习和设备本地训练中都具有显著的性能优势。
recommender systemson-device learningpersonalizationcollaborative learningdata heterogeneity
发现论文，激发创造
  • 设备 - 云协作学习推荐

    本文提出了一种名为 “Device-Cloud Collaborative Learning” 的框架，运用 “MetaPatch 学习” 及 “MoMoDistill” 算法实现了设备端和云端之间的合作学习，取得了较好的效果。

    Apr, 2021

  • 通过元控制器实现设备云协同推荐

    本研究提出一种基于 meta 控制器和因果透视的样本构建方法以解决设备层和云端层之间协同推荐的问题，并在工业推荐场景中展示了 meta 控制器的潜力。

    Jul, 2022

  • CoDA: 自然语言理解的对比增强和多样性促进数据增强

    本文提出了一种名为 CoDA 的新型数据增强框架，通过整合多种转换方法，试图解决文本数据增强中的标签保留问题。实验表明，CoDA 架构在多种自然语言理解任务中平均提高了 2.2% 的效果，相较其他基线方法表现更强

    Oct, 2020

  • IDEAL: 高效设备云协同动态推荐系统

    提出了一种名为 IDEAL 的智能设备 - 云参数请求模型，其可以检测数据领域外的请求收入来保证高收益的自适应设备 - 云通信，利用协作学习和动态模型来实现高效的设备 - 云协作和动态推荐。实验结果表明 IDEAL 在四个公共基准测试中具有有效性和一般性。

    Feb, 2023

  • 无反向传播多模态在设备上通过云设备协作进行模型适应

    我们在日益相互连接的世界中，智能设备不断积累大量的个性化多模态数据，迫切需要提供高质量、个性化的设备感知服务。为了克服云端基于微调适应 (FTA) 存在的问题，我们引入了一种革新的通用 On-Device 多模态模型适应框架，通过在云端部署 Fast Domain Adaptor (FDA) 和设备上的轻量级多模态模型，实现了效率和效果的平衡。为了增强跨多模态任务的适应性，AnchorFrame Distribution Reasoner (ADR) 减少了通信成本。我们的贡献体现在 Cloud-Device Collaboration 多模态参数生成 (CDC-MMPG) 框架中，为 On-Device 多模态模型适应 (DMMA) 提供了先驱性的解决方案。广泛的实验证实了我们的方法的效率和效果，特别是在视频问答和检索任务中，推动了智能设备融入我们的日常生活。

    May, 2024

  • 推荐系统中基于标签纠正的设备端模型微调

    本研究针对推荐系统中的 CTR 预测任务，研究了如何在移动设备上有效地进行本地微调，提出了一种新的标签修正方法，并通过离线评估和在线 A/B 测试证明了它的必要性和优越性。

    Oct, 2022

  • 联邦块坐标下降方案用于学习全局和个性化模型

    文章提出了一种二次罚函数公式，用于训练全局模型并允许个性化本地模型，并且通过采用分层结构建模云和边缘设备之间的通信（同时也适用于云内部的通信），解决了边缘设备异构训练时间引起的延迟问题。理论与实验都证实，这种系统可以更快地收敛于在边缘设备上个性化模型进行训练，比现有技术更优秀。

    Dec, 2020

  • CODA: 适用于 HAR 的高效测试时领域适应机制

    基于主动学习理论，CODA 是一种用于移动感知的成本高效域适应机制，它从数据分布的角度解决了实时漂移问题，通过聚类损失和重要性加权主动学习算法保留不同聚类之间的关系，展示了与神经网络解决方案的整合，并通过对各种数据集进行细致评估证明了 CODA 在线适应性的可行性和潜力。

    Mar, 2024

  • 边缘设备上低成本的局部域自适应训练 (LoCO-PDA): 实现高效卷积神经网络再训练

    本研究提出一种部分域适应方法 ——LoCO-PDA, 通过在边缘设备上重新训练已部署的卷积神经网络，将其适应于观察到的数据分布，其可降低重训练内存消耗、提高推理延迟等，而这一方法在 ILSVRC'12 数据集的不同子集上平均提高了 3.04 pp 的分类精度，并在 NVIDIA Jetson TX2 上取得 2.07 倍推理延迟的改善。

    Mar, 2022

  • CoDa: 基于约束生成的数据增强方法用于低资源 NLP

    CoDa 是一种控制性、有效性且无需训练的数据增强技术，用于低资源（数据不足）自然语言处理。通过从每个样本中提取简单的约束条件，我们使用指令型大型语言模型生成满足这些约束条件的文本，从而产生了多样且新颖的训练实例。我们的研究结果表明，遵循下游数据集中的简单约束条件的合成数据作为有效的数据增强，在不需要复杂的解码约束生成技术或精细调优的情况下，CoDa 可以实现这一目标，从而避免了模型偏向训练样本数量较少的问题。此外，CoDa 是第一个可以让用户对数据增强生成过程进行明确控制的框架，并支持多个领域的简单适应性。通过覆盖 3 种任务和 3 种低资源设置的 11 个数据集，我们展示了 CoDa 的有效性，其相对基准模型在定性和定量上均有 0.12%-7.19% 的改进。代码可在此链接中找到：this https URL。

    Mar, 2024