ICCVJul, 2023
重新挖掘、学习和推理:探索跨模态语义相关性用于语言引导的 HOI 检测
Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection
Yichao Cao, Xiu Su, Qingfei Tang, Feng Yang, Shan You...
TL;DR通过结构化文本知识,我们提出了一个系统且统一的框架 (RmLR) 来提高人物 - 物体交互检测,通过分析相互作用信息的损失并生成更全面的视觉表示,设计了更精细的句子 - 词级对齐和知识传递策略以有效解决多个交互和多个文本之间的匹配问题,进而提高了对交互的理解。实验结果表明我们的方法在公共基准测试上实现了最先进的性能,并进一步分析了我们方法的各个组成部分对效果的影响,为其功效提供了洞察。