ACLJul, 2022

基于知识库的解耦合动作识别

PDF
TL;DR本研究提出了一种使用知识图谱来改善组成动作识别模型对于新动词或新名词的泛化能力的方法，通过提取动词和名词的不可分离特征表示并利用外部知识图谱中的关系来预测分类权重构成动作，并取得了 Charades 数据集上的最佳表现。
action recognitioncompositional actionsknowledge graphsgeneralization abilityfactorized model
发现论文，激发创造
  • 操作知识图谱全解析

    本研究旨在研究不同构建机制的知识图谱对零样本和少样本动作识别的影响，并提出了一种改进的评估范式来促进对动作识别的知识转移，以提高动作识别分类器的性能。

    Aug, 2020

  • DL-KDD: 暗光条件下行动识别的双光知识蒸馏

    我们提出了一种新颖的师生视频分类框架 DL-KDD，它能够在不引入额外计算成本的情况下，从原始和增强视频中学习，通过知识蒸馏策略训练师傅模型和学生模型，使学生模型在推理过程中仅使用原始输入视频来预测动作，实验证实了这种蒸馏策略在暗光环境下人体动作识别中的有效性。

    Jun, 2024

  • 空间时态交互网络的组合动作识别

    本文提出一种新颖的机器学习模型，通过对主体 - 对象交互的动态学习来探究行为的组成性。该模型能够精确推理组成对象的几何关系和动作代理之间的关系，具有较好的应用前景。在使用 Something-Something 数据集进行训练时，我们提出了一种新的组合性行为识别任务，成功验证了该模型的有效性。

    Dec, 2019

  • DVANet：多视角行为识别中视角和动作特征的解耦合

    提出一种新颖的多视图动作识别方法，通过可学习的变换器解码查询和两个监督对比损失将学习到的动作特征与视图信息分离，从而显著提高了多视图动作识别的性能。

    Dec, 2023

  • 自由组合网络用于自我中心动作识别

    本研究提出了一种自由形态组合网络 (FFCN)，可以同时学习语义动词、介词和名词的分离表示，并利用它们在特征空间中组合新的样本，以处理视角行动识别中数据稀缺的问题。

    Jul, 2023

  • 通过视频注意力和时间上下文进行自我中心动作识别

    这篇文章介绍了三个方法：动作识别、动词和名词分类以及空间 - 时间视频注意力模型来解决小动态物体、复杂手部物体交互和遮挡等挑战。

    Jul, 2020

  • 利用图神经网络进行情境识别

    通过基于图神经网络的模型，我们能够有效捕捉语义角色之间的联合依赖关系，从而在预测图像中最显著的动词和填充其语义角色时取得显著提升，实验证明我们的方法在情境识别中表现优异。

    Aug, 2017

  • 基于语言知识辅助的骨骼动作识别表示学习

    研究了人类理解和识别他人动作的复杂神经科学问题，提出了一种利用大规模语言模型知识辅助的图卷积网络（LA-GCN）来进行骨架动作识别，采用先验全局关系和先验类别关系提供额外监督，另外使用多跳注意力图卷积以提高拓扑建模中的信息传递效率。在 NTU RGB+D，NTU RGB+D 120 和 NW-UCLA 数据集上实现了最先进的结果。

    May, 2023

  • 开启自我中心行动的词汇

    本文提出了一种新颖的开放词汇动作识别任务，在训练期间观察到的动词和物体的基础上，通过一个与物体无关的动词编码器和一个基于提示的物体编码器来将动词和物体预测分离，借助 CLIP 表示来预测一组相互作用的对象的开放词汇。在 EPIC-KITCHENS-100 和 Assembly101 数据集上创建了开放词汇基准，而闭合动作方法无法泛化，我们提出的方法非常有效。此外，我们的物体编码器在识别新的相互作用物体方面显著优于现有的开放词汇视觉识别方法。

    Aug, 2023

  • 从场景图对中学习动作 - 效应动力学

    本文提出了一种新方法，利用场景图像来推理自然语言中描述的行为的影响，并在现有的 CLEVR_HYP (Sampat et.al，2021) 数据集上进行了实验，显示出与现有模型相比，该方法在性能，数据效率和泛化能力上都具有有效性。

    Dec, 2022