May, 2023
用于多模态人类活动识别的蒸馏中融合 Transformer 网络
Distilled Mid-Fusion Transformer Networks for Multi-Modal Human Activity Recognition
Jingcheng Li, Lina Yao, Binghao Li, Claude Sammut
TL;DR本文提出了一种基于知识蒸馏的多模态中融合方法,即 DMFT,以在多模态人类活动识别任务中进行信息特征提取和融合,解决深度学习方法无法充分探索跨多模态信息融合的问题,并通过评估表明该方法在有效性,可扩展性和鲁棒性方面均取得了有竞争力的表现。