Sep, 2023

基于位置和方向的一次性学习方法用于医疗行为信号数据的识别

PDF
TL;DR本文提出了一种基于位置和方向感知的一次性学习框架，用于医学动作识别。通过信号数据转化为隐私保护特征进行训练，在模型的两个阶段中引入交叉注意力和动态时间规整等模块进行信息融合，筛选重要的人体部位并减少动作识别偏见，同时采用位置和方向特征相互支持以提高模型性能。实验证明了该方法在多个数据集上的有效性，并与先进方法相比获得了优异的结果。
medical action recognitionsignal dataone-shot learningposition and orientation featuresdynamic time warping
发现论文，激发创造
  • PoseAction：利用深度学习方法对病房患者进行动作识别

    在本研究中，我们提出了一种使用计算机视觉和深度学习方法进行实时智能检测和预测受试者行为的方法，该方法利用 OpenPose 作为准确的受试者检测器，并使用 AlphAction 的异步交互聚合网络来预测受检测到的受试者的动作，该集成模型名为 PoseAction，并基于 NTU RGB+D 和 NTU RGB+D 120 数据集训练模型以识别病房区域的常见动作，同时实现了实时模式和面部模糊功能以保护病患和医护人员的隐私。

    Oct, 2023

  • 带有序列正则化的手术时间动作感知网络用于阶段识别

    我们提出了一种 Surgical Temporal Action-aware Network with sequence Regularization (STAR-Net) 来更准确地从输入视频中识别手术阶段。通过使用多尺度手术时态行动模块（MS-STA）和双分类器序列正则化（DSR），我们的方法可以有效利用手术行动的视觉特征，并在手术阶段识别方面取得卓越性能。

    Nov, 2023

  • 基于多尺度时空骨架匹配的一次性动作识别

    本文提出一种新的一次性骨架动作识别技术，通过多尺度空间和时间特征匹配处理骨架动作识别，实现了优秀、卓越的一次性骨架动作识别，并在诸多大规模数据集上，持续超越当前最先进的方法。

    Jul, 2023

  • SL-DML: 用于多模式单次动作识别的信号水平深度指标学习

    使用度量学习方法，将我们提出的一种基于信号级别的解决方案编码成图像并提取特征，通过三元组损失学习特征嵌入，进而在嵌入空间的最近邻搜索中解决行为识别问题，并在 NTU RGB + D 120 数据集上取得了比基准方法更好的性能，还能够很好地泛化到其他数据集上。

    Apr, 2020

  • 姿态和关节感知动作识别

    本文提出了一种基于关节的动作识别模型，使用共享的运动编码器从每个关节分别提取运动特征，再通过联合推理的方式进行识别，同时引入了选定更具判别性关节的加权计算机制，关节对比损失技巧，以及基于几何感知的数据增强技术等方法，经实验证明，在 JHMDB，HMDB，Charades，AVA 动作识别数据集上，以及 Mimetics 数据集上，相对于当前最先进的基于关节行动识别方法有大幅度提升。同时与 RGB 和基于光流的方法进行了融合处理，以进一步提高性能。

    Oct, 2020

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • 时空对齐网络用于动作识别

    通过引入视点不变特征表示，研究提高现有动作识别架构；提出了一种轻量级通用的空间 - 时间对齐网络（STAN）用于学习动作识别的几何不变表示；实验证明 STAN 模型在广泛使用的数据集上能够在从头开始训练的模式下持续改进动作识别任务的最先进模型。

    Aug, 2023

  • 零样本基于骨架的动作识别的信息补偿框架

    从信息论的角度设计信息补偿学习框架，通过多粒度语义交互机制来提高零样本动作识别准确性，并提出多层次对齐方法对动作类别的信息进行补偿，利用新的损失函数采样方法获得紧密且鲁棒的表示，进而通过合成多粒度语义嵌入形成适当的分类决策面，验证多粒度语义特征有助于区分具有相似视觉特征的动作簇。

    Jun, 2024

  • 深入探究一次性基于骨架的动作识别及其多样遮挡

    本研究为纠正骨架动作识别中身体遮挡问题提出了 Trans4SOAR 模型，该模型利用三个数据流及混合注意力融合机制缓解遮挡造成的副作用，并在标准 SOAR 和部分遮挡 SOAR 上均取得了最新成果。

    Feb, 2022

  • 基于 4D 骨骼增强的上下文感知序列对齐

    本文提出了一种新的上下文感知自监督学习架构（CASA）, 该架构基于现成的人体姿态估计器，以解决视频中人类动作时间对齐的问题。CASA 通过引入自注意力和交叉 - 注意机制，结合人类活动的时空上下文，有效地解决了时间间断性的问题，并通过 4D 姿势表示的新颖增强技术来增强其自监督学习方案，实验结果表明，在三个公共数据集上，CASA 方法显著提高了相位进度和 Kendall Tau 得分比之前的最先进方法。

    Apr, 2022