多层个性化联邦学习用于缓解学生预测分析中的偏差

Dec, 2022

多层个性化联邦学习用于缓解学生预测分析中的偏差

Multi-Layer Personalized Federated Learning for Mitigating Biases in Student Predictive Analytics

Yun-Wei Chu, Seyyedali Hosseinalipour, Elizabeth Tenorio, Laura Cruz, Kerrie Douglas...

TL;DR本文提出了一种用于学生建模的多层个性化联邦学习 (Multi-Layer Personalized Federated Learning, MLPFL) 方法，旨在优化不同层次学生群组标准的推断准确性。该方法通过分布式训练以元梯度更新推导出团体内个人化模型，并结合多种学生行为模态，实现了个性化建模以提高跨不同学生子群组的预测准确性和稳定性。在三个真实的在线课程数据集上的实验表明，该方法在各种学生子群组中均能取得显著的预测质量改进，并为不同的学生子群组分别提取出特征聚类成果。

Abstract

Traditional learning-based approaches to student modeling (e.g., predicting grades based on measured activities) generalize poorly to underrepresented/minority student groups due to biases in data availability. In this paper, we propose a →

student modeling multi-layer personalized federated learning subgroup heterogeneity knowledge tracing outcome prediction

发现论文，激发创造

基于注意力机制的个性化联邦学习在缓解学生表现预测中的偏见方面的应用

本文提出一种优化预测能力以针对不同种族和性别等人群的学生表现的方法，通过联邦学习建立个性化学生模型，结合自我监督预训练和神经网络注意力机制，实现针对不同学生子群体的个性化模型派生，有效改善学生建模结果的预测能力。

Aug, 2022

异构和长尾数据上的多层个性化联邦学习

MuPFL 是一种创新的个性化联邦学习框架，通过多层次结构完全利用不同层次的计算资源，解决数据异质性对模型偏差的影响，缓解过拟合、加速训练，提高分类准确性，并在非独立同分布和长尾条件下取得显著的有效性和效率方面的进展。

May, 2024

个性化联邦学习基于堆叠

使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

Apr, 2024

PPFL: 面向异构人群的个性化联邦学习框架

在本文中，我们基于联邦学习的范式，通过使用规范模型来捕捉异质人群的基本特征并利用会员向量揭示客户的偏好，开发了一个灵活且可解释的个性化框架 PPFL（Population Personalized Federated Learning），并探索了与多任务 PFL、聚类 FL 和解耦 PFL 三个主要分支的关系，证明了 PPFL 的优势。我们提出了一个新颖的随机块坐标下降算法来解决 PPFL（一个非凸约束优化问题）并给出了收敛性质。通过在病理数据集和实际数据集上进行实验，结果验证了 PPFL 的有效性。

Oct, 2023

针对统计异质性的个性化联邦学习

联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

Feb, 2024

FedL2P：个性化联邦学习

该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

Oct, 2023

个性化先验隐藏信息联邦学习

本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

Nov, 2022

联邦学习中的偏差缓解

本研究提出了三种预处理和处理方法以及实验验证，以减轻联邦学习中的偏见和数据异构性对模型性能、公平指标和偏见学习模式的影响，结果表明这些方法即使在当事方数据分布不均或只有 20% 的当事方采用这些方法时也是有效的。

Dec, 2020

走向个性化联邦学习

本综述论文研究了个性化联邦学习（PFL）的领域，着重解决异构数据带来的基本问题，通过分类和分析 PFL 技术，提出其关键挑战和机会，并展望了未来研究的发展方向。

Mar, 2021

去中心化个性化联邦学习

通过在分散式联邦学习中创建协作图，选择适合的合作方，从而解决数据异构性和通信限制带来的挑战。我们的方法通过一种新颖的、通信高效的策略来解决这些问题，提高资源效率。与传统方法不同，我们的方法通过考虑客户的组合关系在粒度级别上识别合作伙伴，增强个性化同时最小化通信开销。我们通过使用约束贪婪算法的双层优化框架实现这一目标，从而为个性化学习提供资源高效的协作图。通过在各种基准数据集上进行大规模评估，我们证明了我们的方法 DPFL 在处理实际数据异构性、最小化通信开销、提高资源效率以及在分散式联邦学习场景中构建个性化模型方面的优越性。

Jun, 2024