CoRAST：面向资源受限的 CPS 和 IoT 的基础模型驱动的相关数据分析
资源感知的联邦基础模型（RaFFM）引入了针对联邦学习场景的特殊模型压缩算法，实现对给定的基于 Transformer 的基础模型的动态缩放，以适应网络边缘的异构资源约束。实验结果表明，RaFFM 在资源利用效率上显示出显著优势，并使用较少的资源将基础模型部署到联邦学习中，虽然资源消耗较低，但经 RaFFM 优化的目标模型在自然语言处理和计算机视觉领域的各项任务中表现出与应用于全尺寸基础模型的传统联邦学习方法相当的性能。
Sep, 2023
提出了一种新颖的联邦自适应时空注意力（FedASTA）框架，用于建模动态的时空关系。在客户端节点，FedASTA 从原始时间序列的分解项中提取时间关系和趋势模式。然后，在服务器节点上，FedASTA 利用来自客户端的趋势模式构建自适应时空感知图，捕捉客户之间的动态相关性。此外，我们设计了一个具有静态图和构建的自适应图的掩蔽空间注意力模块，以建模客户之间的空间依赖关系。在五个真实世界的公共交通流数据集上进行的广泛实验表明，我们的方法在联邦场景中取得了最先进的性能。此外，与其他流行的动态时空感知方法相比，在集中设置下的实验证明了我们的新颖自适应图构建方法的有效性。
May, 2024
提出了一种名为 FedMS 的新型两阶段联邦学习算法，使用全局专家和本地专家构建混合基准模型（MoFM），设计了一个门控神经网络插入门适配器来在第二阶段的每一轮通信中进行聚合，并使用一种新型 SAL 算法来适应具有有限计算资源的边缘计算场景，实验证明 FedMS 在默认设置下超过其他 SOTA 基准模型的性能达到 55.25% 的提升。
Dec, 2023
本文提出了一种联邦预测模型，允许多个用户共同构建基于多流、高维和不完整数据的故障时间预测模型，同时保持每个用户的数据本地和保密。该预测模型首先使用多元功能主成分分析融合多流退化信号，然后利用融合特征和失效时间来构建（对数）位置 - 比例回归模型进行故障预测。为了使用分布式数据集进行参数估计并保护所有参与者的数据隐私，我们提出了一种新的联邦算法进行特征提取。数值研究表明，所提出的模型的性能与经典的非联邦预测模型相同，并且优于每个用户自建模型的性能。
Nov, 2023
综合评述了基于联邦学习和推荐系统的联邦推荐系统，讨论了数据异质性和数据稀缺性等固有限制，并介绍了基础模型的应用和研究方向，以及领域内的常见挑战、未来研究方向和评估指标。
May, 2024
提出了一种基于广义信息映射和交互的远程感知分布式基础模型（RS-DFM），可以通过将观测映射到统一空间并实施任务不可知的信息交互策略，实现多平台和各种下游任务的在线协同感知。
Jun, 2024
FLARE 是一种新颖的轻量级双调度器 FL 框架，可根据观察模型的训练行为和推理统计数据，在边缘和传感器节点之间有条件地传输训练数据和部署模型，从而同时减少通信流量并保持推理模型的完整性，并能成功地反应性地检测概念漂移，至少减少 16 倍的延迟。
May, 2023
通过将基础模型整合到联邦学习中，我们研究了其对稳健性、隐私和公平性的影响，并提出了一套应对这些挑战的标准和策略，同时确定了推进该领域的潜在研究方向，为构建可靠、安全和公平的联邦学习系统奠定了基础。
Feb, 2024
提出了一种叫做联邦学习的分散式学习结构，该结构可以在物联网设备中实现机器学习，通过处理来自不同客户端的数据，以预测未来事件。此方法可解决传统机器学习中遇到的通信开销、隐私泄露和安全性等问题，同时也避免了中央服务器的使用。本文讨论了在客户端资源有限的情况下实施联邦学习的挑战和应用。
Feb, 2020