本文综述了在视频中自动识别人际互动的主要挑战，研究现状，以及基于深度学习和卷积神经网络方面的最新、有前途的工作，最终概述了克服目前技术限制以分析和理解社会人类行为的方向。

Jul, 2018

通过生成视频常识描述（包括解释动机、影响和描述人物特点）的方法，结合开放式视频常识问答，可以提升通过字幕来理解视频的能力。

Mar, 2020

我们提出通过手动注释真实世界监控数据集 UCF-Crime 的细粒度事件内容和时间来构建第一个多模态监控视频数据集，命名为 UCA（UCF-Crime 注释）。在该数据集中，事件详细描述，并在 0.1 秒的时间间隔内提供了精确的时间定位。我们基于该数据集评估了多个多模态任务的最先进模型，包括视频中的时间句子定位、视频字幕生成和稠密视频字幕生成。通过实验证明，以前公开数据集中使用的主流模型在多模态监控视频场景下表现不佳，这凸显了构建这个数据集的必要性。

Sep, 2023

通过对用户兴趣的主题进行视频描述一直是一个长期目标。为了解决这个问题，我们提出了一种新的视频字幕任务，即面向主题的视频字幕，允许用户通过边界框指定描述的目标。为了支持这个任务，我们基于两个广泛使用的视频字幕数据集 MSVD 和 MSRVTT 构建了两个面向主题的视频字幕数据集，通过为每个字幕中的每个视频注释主题。这些数据集为未来的技术发展铺平了道路。作为第一个尝试，我们评估了四种最先进的通用视频字幕模型，并观察到了较大的性能下降。然后，我们探索了几种策略使它们能够描述所需的目标。实验结果显示出明显的改进，但在这个领域还有很大的探索空间。

Dec, 2023

在这篇论文中，我们提出了直接生成有实体感知能力的新闻视频标题的任务，并发布了一个大规模数据集 VIEWS (VIdeo NEWS) 以支持该任务的研究。同时，我们还提出了一种方法，通过从外部世界知识中检索到的上下文来增强视频中的视觉信息，以生成具有实体感知能力的标题。通过在三个视频字幕模型上的广泛实验和见解，我们证明了我们方法的有效性，并且展示了我们的方法能够推广到现有的新闻图像字幕数据集。相信我们为这一具有挑战性的任务奠定了坚实的研究基础。

Dec, 2023

提出了一种利用人 - 物交互模型来检测和总结监控视频中可疑活动的新方法，使用基于双模变换器中的视觉特征的方法修改了现有方法，并将其与现有的最先进的算法进行了比较，发现该方法在密集字幕表现方面优于其他方法，并最终使用遗传算法找出不同 NMS 阈值条件下的最佳性能。

Jul, 2022

本研究针对人类中心视频分析中的复杂事件提出了一个新的大规模数据集，HiEve（人类中心视频分析中的复杂事件），包含超过 1 百万个姿势，56k 个行为实例和平均轨迹长度 > 480 帧。我们提出了一个增强的姿势估计算法，通过利用行动信息指导学习更强大的 2D 姿势特征，显著提高了现有姿势估计管道的性能。通过大量实验，我们证明了 HiEve 是一个挑战性强的人类中心视频分析数据集。

May, 2020

使用 “好莱坞在家” 这一方法，提出了一种收集现实多样日常场景样本的新型数据集 Charades，以及在该数据集上进行的动作识别和自动化描述生成任务的基准结果，这有望为计算机视觉领域提供独特的挑战和机遇。

Apr, 2016

本文介绍了一个名为 MovieGraphs 的数据集，用于收集电影片段中的社交情境，并探索了使用这个数据集进行情感识别、交互理解和原因理解的方法和相关研究。

Dec, 2017

本文提出了一种从篮球运动员的第一人称视频中预测其未来运动轨迹 (位置和视线方向) 的方法，该方法利用了第一人称视频中独特的学习信号和 3D 重建技术，通过 Siamese 神经网络和长期循环卷积网络实现了对未来运动的预测。

Nov, 2016