将图形模型化与分层分级注意机制相结合的新型方法，提高了视频描述的精确性和完整性，通过在场景图中编码对象和动作之间的时空相互依赖性，再结合 3 级图形注意力网络构建了分层分级的注意机制，从而实现了并行生成具有不同语义复杂性的视频描述，提高了动作识别和描述的准确性。

Oct, 2023

本文提出了一种新颖的分层强化学习框架，用于视频字幕生成，该框架让高级管理器模块学习设计子目标，低级工作模块识别基本动作以实现子目标，实验证明我们的方法在细粒度视频字幕生成方面优于其他基线方法，并在已广泛使用的 MSR-VTT 数据集上达到了最佳效果。

Nov, 2017

该论文提出了一种基于对比学习的决策树分类框架，使用交互邻接矩阵 (IAM) 和骨架图等模型各种动作相关特征，并构建预处理任务来支持高级别识别任务，提高交互识别和对称性检测的效果，同时在 CalTech 面试视频数据库中展示了可应用于自闭症谱系障碍诊断的潜力。

Apr, 2023

本文提出一种可解释的网络模型 Hierarchical ProtoPNet，该模型通过考虑类别之间的层次关系来解释其推理过程，并在视频动作分类领域中应用，提出了一种多级解释的方法。在 ActivityNet 和 UCF-101 数据集上实验证明该方法能够提高性能。

Jan, 2023

本文提出 Hierarchical Attention Network（HAN）用于实现复杂的人类行为理解。该模型可以同时融合视频的静态空间信息，短期运动信息和长期视频时间结构，并利用多步骤空间时间关注机制来自动学习视频帧中的重要区域和时间片段，最终在标准的视频行为基准测试中显著优于现有技术。

Jul, 2016

本文提出了一种将视频建模为条件分层图层次结构的方法，通过组合不同层次的视觉元素来对齐语言查询中的多粒度语义概念，该方法超越了先前方法的表现，且对于不同类型的问题也具有更好的泛化能力。

Dec, 2021

我们提出了一个用于研究动作识别假设并定量测试的框架，从而推进视频动作识别中深度神经网络的可解释性研究。

Apr, 2024

提出一种基于 Hierarchical Graph Reasoning (HGR) 的模型，将 video-text matching 分解成全局到局部的语义层次；通过基于注意力的图推理生成层次化的文本嵌入，进而引导学习多样化和分层的视频表示，并通过整合不同的 video-text 层次的匹配来捕获全局和局部细节，从而实现视频和文本之间的交叉检索。

Mar, 2020

该研究提出了一种多任务学习的方法，将来自各种不同数据集的任务共享视觉语言表示。结果表明该方法在图像字幕检索、视觉问答和视觉定位方面比先前的单任务学习方法表现更好，同时通过可视化注意力图分析了学习到的分层表示。

Dec, 2018

通过使用自然语言实现手术模型的普适性训练，本研究提出了一种名为 HecVL 的新型分层视频 - 文本预训练方法，其中通过构建层次化的视频 - 文本配对数据集，通过剪辑级、阶段级和视频级的文本信息学习了多模态嵌入空间，并使用对比学习的框架进行训练，使模型能够实现零样本手术阶段识别，并且在不同手术程序和医疗中心之间实现了模型的迁移。

May, 2024