Feb, 2024

学习手对手与人对人交互的相互激发

PDF
TL;DR提出了一种互激励图卷积网络 (me-GCN)，通过堆叠互激励图卷积 (me-GC) 层来识别交互动作，成功地建模了实体间的相互语义关系，实验证明了该方法在手对手交互和人对人交互数据集上的优越性。
interactive actionsgraph convolutionmutual excitation graph convolutional networkhand-to-hand interactionhuman-to-human interaction
发现论文，激发创造
  • 基于骨架的人类交互识别的双人图卷积网络

    本文介绍了一种新型的二人图来表示关节之间的人与人交互和身体内部的相关性，并提出了两个人图卷积网络（2P-GCN）来识别人与人交互和个体动作。实验结果表明，该模型在 SBU、NTU-RGB+D 和 NTU-RGB+D 120 三个数据集的四项基准测试中取得了最先进的结果。

    Aug, 2022

  • 神经搜索下的基于骨架的人体动作识别中的图卷积网络学习

    提出了一种自动设计的图卷积网络，用于基于骨架的动作识别，该网络通过动态图模块和多次跳跃模块增加了空间 - 时间相关性的表示能力，使用采样和记忆效率的进化策略搜索出优化架构，结果表明其效果优于现有图卷积网络。

    Nov, 2019

  • GCNext: 图卷积在人体动作预测中的统一性探索

    本文介绍了一种名为 Universal Graph Convolution (UniGC) 的新型图卷积概念，该概念重新构建了不同图卷积，并提出了一种动态确定最适合的图卷积的 GCNext 建模范例，通过独特的模块 - 网络设计，GCNext 在计算成本上具有高达 9 倍的降低，并实现了最先进的性能，主要应用于人体动作预测。

    Dec, 2023

  • 克服拓扑集成视野：通过重新定义骨架拓扑感知增强基于骨架的动作识别

    本文研究骨骼动作识别中图卷积网络 (Graph Convolutional Networks, GCNs) 的局限性，提出了一种新的三合一策略：利用图距离编码骨骼连接，强调骨骼序列的时间平均值，以及利用 BlockGC 进行关系配置的变化修正，提高模型性能和准确率。BlockGCN 模型在 NTU RGB+D 120 数据集上表现出色，参数减少了 40% 以上。

    May, 2023

  • 基于时空 Inception 图卷积网络的基于骨架的动作识别

    通过对图形卷积网络中的拆分、变换、合并策略进行重新设计，我们构建了一个简单而高度模块化的图形卷积网络体系结构，用于骨架序列处理中的动作识别，并证明了其优于现有基于深度学习的方法。

    Nov, 2020

  • 共同上下文网络用于联合估计自我中心视线和动作

    本文借助行为与视觉注意力的相互关系，提出了基于互联背景网络的端到端学习方法，用于在以自我为中心的录像中进行注视点预测与动作识别的二元任务，并通过公共数据集实验证明了其在该领域中最先进的性能。

    Jan, 2019

  • 基于预测编码的图卷积网络用于噪声鲁棒的基于骨架的动作识别

    本研究提出了一种骨架动作识别方法，该方法对给定骨架特征的噪声信息具有鲁棒性，通过最大化正常和噪声骨架之间的互信息以预测编码方式来训练模型，并在 NTU-RGB + D 和 Kinetics-Skeleton 数据集上进行了综合实验，结果表明该方法具有明显的性能优势。

    Mar, 2020

  • 基于语言知识辅助的骨骼动作识别表示学习

    研究了人类理解和识别他人动作的复杂神经科学问题，提出了一种利用大规模语言模型知识辅助的图卷积网络（LA-GCN）来进行骨架动作识别，采用先验全局关系和先验类别关系提供额外监督，另外使用多跳注意力图卷积以提高拓扑建模中的信息传递效率。在 NTU RGB+D，NTU RGB+D 120 和 NW-UCLA 数据集上实现了最先进的结果。

    May, 2023

  • Dynamic GCN：基于骨架动作识别的上下文增强拓扑学习

    本文提出了 Dynamic GCN, 一种基于 Graph Convolutional Networks 的方法，通过引入 Contextencoding Network (CeN) 来自动学习骨架拓扑结构，CeN 是一个轻量级且有效的卷积神经网络，能够嵌入到 GCN 中，该方法在 NTU-RGB+D、NTU-RGB+D 120 和 Skeleton-Kinetics 三个基准测试集上实现了当前的最佳表现。

    Jul, 2020

  • 基于骨架的动作识别的时序图建模

    本篇文章介绍了一种称之为 Temporal Enhanced Graph Convolutional Network (TE-GCN) 的新模型，用于构建骨骼动作识别应用中的时间关系图，以提取骨架序列的时间动态。文章对两个广泛使用的大型数据集进行了广泛的实验，在动作识别中取得了最先进的性能，同时通过多头机制进一步探索时间关系图。

    Dec, 2020