Nov, 2023
FedFusion：多星多模态深度融合驱动的联邦学习
FedFusion: Manifold Driven Federated Learning for Multi-satellite and Multi-modality Fusion
DaiXun Li, Weiying Xie, Yunsong Li, Leyuan Fang
TL;DRFedFusion 是一种基于流形的多模态融合框架，通过联合估计每个客户端的浅层特征的显著流形结构，并通过级联和加法方法将特征矩阵压缩为低秩子空间，作为后续分类器的特征输入，从而解决多卫星、多模态数据的联合融合问题。该框架在三个多模态数据集上的性能表现超过现有方法，达到 94.35% 的分类平均准确率，同时将通信成本压缩了 4 倍，并在基于 Jetson TX2 工业模块的轨道边缘计算架构上进行了广泛的真实卫星图像的数值评估，结果显示 FedFusion 将训练时间缩短了 48.4 分钟（15.18%），同时优化了准确性。