本文旨在探讨基于两阶段和单阶段方式的人-物交互检测方法各自的优点和缺点，并提出一种新的单阶段框架，该框架采用分离式的方法进行检测和分类，取得了明显的相对提升。

Aug, 2021

在本论文中，我们提出了基于一种二步检测器——Unary-Pairwise Transformer，它利用HOIs的一元和二元表示，通过使用与DETR相同的Transformer来训练，我们发现在相同的Transformer下，使用二步检测器比使用一步检测器可以提高预测性能和减少训练时间。我们在HICO-DET和V-COCO数据集上进行了评估，并明显优于最先进的方法。在推理时间内，我们的模型通过使用ResNet50能够在单个GPU上实现实时性能。

Dec, 2021

本文探讨了人-物体交互检测的两个挑战：类别不平衡和每图像多标签需求的有效解决方法，分别是通过对比分析HOIs语言嵌入来初始化权重和使用LSE-Sign损失加强多标签学习，从而实现了无需依赖物体检测和人体姿势检测的HOI分类，在集成现有物体检测模型后，达到了最先进的检测结果。

Dec, 2021

该研究旨在增强终端到终端的HOI检测模型，具体实现方法是利用基于对象的统计先验知识并生成跨模态感知的视觉和语义特征，建立了一种基于对象的跨模态校准网络（OCN），结果显示其更好的动词预测能力和更强的利用先验知识的方法比起基于并行检测和动词分类预测模型有更高的准确性。

Feb, 2022

该研究旨在解决人-物交互检测中的联合定位和分类问题，通过提出解耦三元组预测为人-物对检测和交互分类两个子任务来学习关注不同区域的表示，从而设计出Disentangled Transformer，与现有HOI transformers相比，其方法在两个公共HOI基准测试中表现更佳。

Apr, 2022

本文介绍了一种增强DETR稳健性的方法，它通过探索部分视觉线索来强制使用部分可见内容进行正确的人-物交互检测查询和预测。实验结果表明，该方法在三个基准测试中均取得了最先进的性能。

Jul, 2022

本文介绍了一种使用图像级别交互标签和预训练的视觉语言模型和大型语言模型在文献中最弱的监督设置下来处理HOI检测的方法，该方法包括修剪非交互式人和物体建议来提高袋内正例对的质量、查询特定人类和对象类别之间可能的交互以强制模型不要强调不太可能的交互，以及使用辅助弱监督的介词预测任务来使模型明确地推理空间。实验显示，所有贡献均可以提高HOI检测的性能。

Mar, 2023

人物与物体的交互检测任务中，基于Transformer的方法显示出了显著的进展。然而，这些方法忽略了人物、物体和交互之间的关系，而我们提出了人物与物体解耦网络（HODN）来明确建模交互关系。我们的方法在V-COCO和HICO-Det数据集上取得了竞争性的性能，并且可以方便地与现有方法结合以获得最新的结果。

Aug, 2023

本研究提出了一种名为KI2HOI的新型框架，用于有效整合视觉语言模型的知识，从而改进零样本人物-物体交互检测。通过采用动词提取解码器将相应的动词查询转换为特定交互类别的表示形式，设计了基于视觉语义的动词特征学习模块。通过有效的加性自注意机制生成更全面的视觉表示。此外，创新的交互表示解码器通过交叉注意机制，有效地提取信息丰富的区域。为了处理低数据中的零样本学习，利用CLIP文本编码器的先验知识，为增强交互理解初始化线性分类器。在主流的HICO-DET和V-COCO数据集上进行的大量实验证明，我们的模型在各种零样本和全监督设置上优于以前的方法。

Mar, 2024

提出了一种用于人物-物体交互检测（DP-HOI）的有效分离预训练方法，通过利用目标检测和动作识别数据集预训练检测和交互解码器层，并结合图像级监督实现了有效的模型参数初始化，从而显著提高现有HOI检测模型在各种稀有类别上的性能。

Apr, 2024