Mar, 2024

基于时空邻近感知的全景活动识别双通道模型

TL;DR全景活动识别 (PAN) 旨在在拥挤的全景场景中识别多样化的人类活动,从个体动作到社交群体和全球活动。为了解决 PAN 面临的两个主要挑战,我们提出了基于社交接近度感知的双通道网络 (SPDP-Net)。该网络基于两个关键设计原则:首先,考虑个体之间的时空接近度,对于正确理解社交动态来说至关重要;其次,引入双路径架构进行多粒度活动识别,其中包括个体到全球和个体到社交的路径,通过多层次通过全局和局部上下文相互强化彼此的任务。通过大量实验证明了个体之间的时空接近度和双通道架构在 PAN 中的有效性。此外,SPDP-Net 在 JRDB-PAN 数据集上取得了 46.5% 的整体 F1 分数,达到了新的最先进的性能水平。