Feb, 2024

MaskFi: 无监督学习 WiFi 和视觉表示以进行多模态人体活动识别

TL;DR我们提出了一种新的无监督多模态 HAR 解决方案 MaskFi,该方案利用仅有的未标记视频和 WiFi 活动数据进行模型训练,通过预测表示学习中的遮挡区域,使模型能够学习跨模态和单模态特征。我们的方法在两个内部采集的 WiFi-vision 数据集上进行了广泛的实验证明,同时在鲁棒性和准确性方面实现了人类活动识别和人员识别。