人物与物体互动中的交互领域
本文研究了人物和物体间的交互行为,发现交互知识可以跨越不同的数据集,形成通用的交互知识网络,并且可以与任何 HOI 检测模型合作,进而提高 HOI 检测效率和准确性。通过使用实例和人体部位的特征信息,本文还提出了一种层次化的交互知识获取方法,同时采用一致性任务深度提取可视化线索。在 HICO-DET、V-COCO 和 PaStaNet-HOI 数据集上的实验结果表明,该方法优于现有的 HOI 检测方法。
Jan, 2021
研究人体与物体互动关系,通过使用一个可学习的 Interactiveness Network,学习 HOI 数据集的互动知识,从而实现在 HOI 分类推理之前进行非交互抑制,并在 HICO-DET 和 V-COCO 数据集上验证了方法的有效性和灵活性。
Nov, 2018
本文提出了一种基于全卷积的去检测人 - 物交互的新方法,该方法利用相互作用点直接定位和分类相互作用,并结合密集的相互作用向量,将相互作用与人和物的检测相结合,以获得最终的预测结果。该方法在 V-COCO 和 HICO-DET 两个常用基准上均取得了最新的最佳表现。
Mar, 2020
该研究探索了基于人体姿态、注视和距离等因素实现社交场景下人和物体之间相互作用识别的方法,并针对误分类问题提出硬负样本采样策略。在两个基准数据集,即 V-COCO 和 HICO-DET 上进行实验并验证了各个组件的有效性。
Aug, 2018
本文提出了一种基于人与物体功能相似性的人类 - 物体交互检测方法,使用视觉特征、人类和物体之间的相对空间方向和功能相似物体参与相似交互的知识。在 HOI 数据集上,该方法在平均精度方面的绝对增益为 2.5%,并且在已知物体情况下实现了零样本 HOI 检测和广义物体检测。
Apr, 2019
本文主要探讨计算机视觉中的人 - 物体交互检测任务(HOI detection), 针对该任务的长尾可视化识别困境,对现有模型进行检测、识别和识别三步分析,研究发现交互信号(如遮挡和相对位置)会干扰检测和识别步骤,从而降低了识别准确性
Jun, 2020
本文提出了一种新的方法,从全局角度学习人体部分之间的交互性,包括构建基于自我关注的身体部位显著性图,以挖掘跨人信息和学习所有身体部位之间的整体关系,并在一些基准数据集上取得了明显的改进。
Jul, 2022
通过结构化文本知识,我们提出了一个系统且统一的框架 (RmLR) 来提高人物 - 物体交互检测,通过分析相互作用信息的损失并生成更全面的视觉表示,设计了更精细的句子 - 词级对齐和知识传递策略以有效解决多个交互和多个文本之间的匹配问题,进而提高了对交互的理解。实验结果表明我们的方法在公共基准测试上实现了最先进的性能,并进一步分析了我们方法的各个组成部分对效果的影响,为其功效提供了洞察。
Jul, 2023
本文提出了一个基于 AVA 的新数据集,名为 DIO,用于检测人类和物体之间的空间和时间交互作用,同时利用层次化的空间时间人 / 环境线索,设计了 HPN 算法对交互中的对象进行发现。实验表明,该算法表现出良好的性能。
Nov, 2022
在开放世界环境下,通过使用视觉语言(VL)基础模型和大型语言模型(LLMs),本研究探索了通用交互识别的方法,并通过进行深度分析和高级关系提取等设计,以实现超越现有方法的开放类别交互识别。
Nov, 2023