Jul, 2024
面向脑 - 眼 - 计算机的小目标检测的自适应模态平衡在线知识蒸馏
Adaptive Modality Balanced Online Knowledge Distillation for Brain-Eye-Computer based Dim Object Detection
Zixing Li, Chao Yan, Zhen Lan, Dengqing Tang, Xiaojia Xiang...
TL;DR利用脑机接口从人脑中提取高级认知，结合具备高效特征提取能力的计算机视觉技术，可实现对航空图像中微弱目标更强大、更准确的检测。本文首先构建了基于脑眼计算机的航空图像目标检测系统，通过基于眼动追踪的慢速串联视觉呈现范式在脑电图中激发事件相关电位（ERP）信号，并将眼动数据和图像数据构建成脑电图 - 图像数据对。然后，提出了一种自适应模态平衡的在线知识蒸馏（AMBOKD）方法，用于利用脑电图 - 图像数据识别微弱目标。AMBOKD 利用多头注意力模块将脑电图和图像特征融合，构建具备全面特征的新模态。为了提升融合模态的性能和鲁棒能力，采用端到端在线知识蒸馏实现模态之间的同时训练和相互学习。在学习过程中，提出了一种自适应模态平衡模块，通过动态调整各种模态的重要性权重和训练梯度来确保多模态平衡。通过与现有先进方法的比较，验证了我们方法的有效性和优越性。此外，对公共数据集进行的实验和在真实场景中的系统验证也证明了提出的系统和设计方法的可靠性和实用性。