Oct, 2019

设备上个性化联邦评估

PDF
TL;DR该研究介绍了扩展联邦学习运算框架以评估全球模型个性化策略的方法，并提出了分析个性化效果以评估个性化是否产生理想模型的工具。作者还报告了在数千万用户的智能手机虚拟键盘中个性化语言模型的实验结果，并展示了相当一部分用户从个性化中受益。
federated learningpersonalizationglobal modelson-device computationlanguage model
发现论文，激发创造
  • 联邦学习的个性化技术综述

    本文调查了针对非独立同分布数据的个性化联邦学习的研究，此技术可让多方参与联合学习，从而达到隐私保护的目的。

    Mar, 2020

  • 联邦评估和调整用于设备化个性化：系统设计和应用

    描述我们的联邦任务处理系统的设计，包括评估、调整和联邦学习等任务，特别是在个性化机器学习方面的应用，从设计方面进行比较并展示它在应用中的可行性。

    Feb, 2021

  • 移动键盘预测的联邦学习

    本研究使用分布式联合学习框架 Federated Learning 对一个智能手机虚拟键盘中的递归神经网络语言模型进行训练，证明了在无需导出用户数据到服务器的情况下，在客户端设备上训练语言模型是可行的，在此应用场景中，使用 Federated Averaging 算法进行的训练可以完成更好的预测记忆，这种联合学习的环境可以保护用户数据隐私，使用分布式训练与集中式聚合来将隐私保护的思路融入到训练过程中。

    Nov, 2018

  • FedPC：带有个人和上下文偏好嵌入的联合学习语言生成模型

    本文提出了利用个人 embedding 和共享上下文 embedding 的方法来进行联邦学习中的个性化研究，并提出了一种预测 “偏好” embedding 的方法，相对于现有方法在测试时间困惑度方面有 50% 的改进，且消耗的内存和计算量更小。

    Oct, 2022

  • 在个性化层上进行联合学习

    本文介绍了 FedPer，一种基本 + 个性化层式的联邦深度前馈神经网络训练方法，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。

    Dec, 2019

  • 本地思考，全球行动：具备本地和全局表示的联邦学习

    通过在设备上联合学习一种新的联邦学习算法，可以通过仅传递参数来训练全局模型，从而保持设备数据的私密性，这可以减少通信参数的数量并降低数据方差和设备分布差异，同时兼顾对隐私和公平性的要求。

    Jan, 2020

  • 本地记忆化的个性化联邦学习

    通过利用深度神经网络从非表格数据（如图像和文本）提取高质量特征向量来提出一种基于本地记忆的个性化机制，该机制与基于全局模型的交叉训练相结合，使用局部ｋ- 近邻模型实现个性化，并且在二元分类情况下给出了一般化边界。在一系列联合数据集上实验证明了这种方法的准确性和公平性显著优于现有的状态 - of-the-art 方法。

    Nov, 2021

  • 分布式个性化在线联邦学习

    我们提出了一个新的去中心化个性化在线联邦学习设置，用于在在线环境中学习，在每个客户端上学习个性化模型，并在去中心化环境中学习。我们解决了两个技术挑战：如何通过优化本地模型的性能来聚合来自邻近客户端的共享模型参数，并通过学习的聚合权重选择最有帮助的邻居减少通信成本。

    Nov, 2023

  • 机会式联邦学习：对泛在计算应用进行自我中心协作的探索

    本文介绍了一种新的机会式联邦学习方法，支持设备间的协作学习，并能够针对用户个体的经验进行个性化模型训练，以此提升模型的性能并抵抗过度拟合现象。

    Mar, 2021

  • 联邦重构：部分本地化联邦学习

    本文提出了联邦重构（Federated Reconstruction）方法，这是第一个适用于大规模交叉设备设置的局部联邦学习模型通用框架，可用于训练和推断，并在移动键盘应用中成功实现了基于本方法的联邦协同过滤。

    Feb, 2021