MMAug, 2023

通过互信息估计与最大化进行零样本基于骨架的动作识别

PDF
TL;DR通过相互信息估计和最大化，我们提出了一种基于零样本骨骼动作识别的新方法，通过最大化视觉和语义空间之间的相互信息来进行分布对齐，并利用时间信息来估计相互信息，以增加观察到的帧数。
zero-shotskeleton-based action recognitionmutual information estimationtemporal informationdistribution alignment
发现论文，激发创造
  • 零样本基于骨架的动作识别的信息补偿框架

    从信息论的角度设计信息补偿学习框架，通过多粒度语义交互机制来提高零样本动作识别准确性，并提出多层次对齐方法对动作类别的信息进行补偿，利用新的损失函数采样方法获得紧密且鲁棒的表示，进而通过合成多粒度语义嵌入形成适当的分类决策面，验证多粒度语义特征有助于区分具有相似视觉特征的动作簇。

    Jun, 2024

  • 细粒度的辅助信息引导的零样本骨架动作识别

    通过侧面信息和双提示学习，我们提出了一种用于基于骨架的零样本动作识别（STAR）的新方法，以精细级别对骨架和语义空间进行对齐，从而区分高相似动作类别。我们在 NTU RGB+D、NTU RGB+D 120 和 PKU-MMD 数据集上进行了广泛实验，结果表明我们的方法在 ZSL 和 GZSL 设置上取得了最先进的性能。

    Apr, 2024

  • 基于视频内部和交叉信息最大化的小样本动作识别

    提出了一个新的框架 Video Information Maximization（VIM），用于 few-shot video action recognition，其中包括自适应的空间 - 时间视频采样器和时空动作对齐模型，以最大化视频信息的内在和互视频信息，并通过基于互信息度量的其他损失项来达到这些目标。

    May, 2023

  • 通用零样本基于骨骼的动作识别的多义融合模型

    提出了一种用于提高广义零样本基于骨骼的动作识别（GZSSAR）性能的多语义融合（MSF）模型，其中采集了两种类级文本描述（动作描述和运动描述）作为辅助语义信息，以增强通用骨骼特征的学习能力。通过预训练的语言编码器和骨骼编码器提取富有语义特征的动作类别和骨骼特征，并利用基于变分自动编码器（VAE）的生成模块学习骨骼和语义特征之间的跨模态对齐，最后构建分类模块识别输入样本的动作类别，并在 GZSSAR 中采用看见未见分类门来预测样本是否来自已知动作类别。与先前模型相比，提出的 MSF 模型在 GZSSAR 上表现出卓越的性能。

    Sep, 2023

  • Skeleton-DML: 基于骨架的单次动作识别的深度度量学习

    本文提出了一个以深度度量学习为基础的单次动作识别方法，使用图像骨骼表示法，在嵌入空间中训练模型，在 NTU RGB+D 120 数据集中，实现了单次动作识别协议最新的 3.3％提升，在附加数据增强后提高了超过 7.7％。

    Dec, 2020

  • 基于多尺度时空骨架匹配的一次性动作识别

    本文提出一种新的一次性骨架动作识别技术，通过多尺度空间和时间特征匹配处理骨架动作识别，实现了优秀、卓越的一次性骨架动作识别，并在诸多大规模数据集上，持续超越当前最先进的方法。

    Jul, 2023

  • 零样本动作识别的语义嵌入空间

    本篇论文探讨零样本学习在现代视频动作识别任务中的应用，采用语义词向量空间作为视频和类别标签的共同空间来解决语义信息相对复杂，并且难以学习的问题。通过自我训练和数据增强等策略，大大提高了这种映射的有效性，在 HMDB51 和 UCF101 等人体动作数据集上，本方法实现了最新的零样本动作识别性能。

    Feb, 2015

  • 跨模态表示学习用于零样本动作识别

    本篇研究提出了一种基于跨模态 Transformer 的框架，用于零样本动作识别，其将视频数据和文本标签进行联合编码，并通过一个新的管道来构建视觉和语义表示之间的共享知识空间，其中包括了一个语义传递的策略，通过将已有和未见的课程联合在一起，提高了在 UCF101、HMDB51 和 ActivityNet 基准数据集中的顶级准确度。

    May, 2022

  • 导航基于骨架的动作识别的开放集场景

    本文探讨了开放集骨架动作识别（OS-SAR）任务的挑战，并提出了一种基于距离的跨模态集成方法，通过对骨骼关节、骨头和速度进行交叉模态对齐，在训练过程中使用交叉模态均值最大差异抑制机制，测试过程中使用基于距离的交叉模态逻辑改进方法，从而实现优秀的开放集识别表现。该方法在各个数据集和底层模型上持续取得最先进的结果。

    Dec, 2023

  • 提升基于骨架的行为识别与高效多模态自监督

    自我监督表示学习在人体动作识别方面得到了快速发展。本文首先提出了一种隐式知识交换模块（IKEM），用于减轻低性能模态之间的错误知识传播。然后，我们进一步提出了三种新模态来丰富不同模态之间的互补信息。最后，通过锚点、正样本和负样本之间的约束关系，我们提出了一种新的教师 - 学生框架，将次要模态的知识蒸馏到强制性模态中，名为关系型跨模态知识蒸馏。实验证明了我们方法的有效性，可以高效利用基于骨架的多模态数据。源代码将公开发布在给定的网址。

    Sep, 2023