Mar, 2024

在工业装配线上利用基础模型自动数据增强策略和骨骼点进行手部动作识别

PDF
TL;DR在现代工业装配线上，研发了许多智能算法来取代或监督工人。然而，我们发现在实际装配线上部署算法时，训练数据集和实时性能存在瓶颈。因此，我们开发了一种有前景的策略，利用具有强大泛化能力的大型模型来实现高效、高质量和大规模的数据集扩充，解决了工业数据集不足和质量低的问题。我们还将该策略应用于视频动作识别领域，提出了一种将手部动作识别问题转化为手部骨骼轨迹分类问题的方法，解决了工业算法的实时性能问题。在实际装配线上的 “线材插入过程中的手部动作” 场景下，手部动作识别的准确率达到了 98.8%。我们进行了详细的实验分析，展示了该方法的有效性和优越性，并在美的实际装配线上部署了整个过程。
intelligent algorithmsdataset expansionindustrial datasetsvideo action recognitionhand action recognition
发现论文，激发创造
  • 证明基于骨架的动作识别潜力用于自动化分析手工过程

    基于视频流，本研究开发了一个机器学习系统，用于检测手工装配过程中的当前动作，以提取关键绩效指标并提高手工过程的分析能力。通过骨骼动作识别方法，研究证明了机器学习在手工过程分析中的潜力。

    Oct, 2023

  • 融合手部和身体骨架进行装配中的人体动作识别

    提出了一种结合较少详细的人体骨骼和高度详细的手部骨骼，通过使用注意力从两种骨骼类型中提取和组合重要信息的方法，以增强装配场景中的动作识别效果。

    Jul, 2023

  • 使用解剖学特征和迭代学习进行自监督优化的手势估计方法

    研究报告提出了一种自我监督学习框架，结合手势估计和手势识别，用于解决手势识别在复杂场景中的困难，以提高手动组装场景下的活动识别的准确性和鲁棒性。

    Jul, 2023

  • 物体信息如何提高基于骨架的人体动作识别在装配任务中的表现

    本文探讨了如何将目标物体信息融入基于骨架的行为识别，以提高人员 - 机器人协作的效率和智能化水平，并在 IKEA ASM 数据集的实验中证明了该方法能够提高目前先进方法的性能。

    Jun, 2023

  • 通过骨骼变换实现基于骨骼的动作识别的表达关键点

    提出了 Expressive Keypoints 方法，通过细化骨骼表示并加入手和脚的细节，提高了现有模型在识别复杂动作方面的区分能力。使用骨骼转换策略逐渐降低关键点数量并给予重要关节更高的权重，同时引入了插拔式实例池模块，使方法能在多人场景下运行而不增加计算成本。通过在七个数据集上的广泛实验结果表明，该方法在使用基于骨骼的人体动作识别方面优于现有技术。

    Jun, 2024

  • 高时间分辨率行动识别序列建模

    本文介绍了一个新数据集 StrokeRehab，旨在解决机器学习中的一个重要问题，即从视频和运动数据中识别出细微的运动，提出了一种以语音识别技术为灵感的基于序列到序列模型的高分辨率动作识别方法，并在 StrokeRehab 数据集以及标准测试数据集 50Salads，Breakfast 和 Jigsaws 上取得了当前最优的结果。

    Nov, 2021

  • 骨架动作识别，未来何去何从？

    本文研究骨架为基础的人体动作识别的当前和未来发展方向，以 Skeletics-152、Skeleton-Mimetics、Metaphorics 和 NTU-120 等数据集作为研究对象，旨在评估现有方法和数据集的优劣，并开辟人体动作识别的新领域。

    Jul, 2020

  • 基于大规模基础模型的低成本实时工业人体动作识别

    该论文提出了一种基于大规模基础模型（LSFM）的工业人工行为识别（IHAR）方法，首次联合使用了各种 LSFM 和轻量级方法，以实现低成本数据集建立和实时 IHAR。在原位大规模工业制造线上的全面测试表明，该方法实现了就业成本的大幅降低，具有出色的实时性能和令人满意的准确性和泛化能力，表明其在大规模工业应用中作为骨干 IHAR 方法具有巨大潜力。

    Mar, 2024

  • 关于利用三维手势姿势进行动作识别的实用性研究

    手势建模是行为识别的一种未充分探索的方式。我们提出了一种新颖的多模态变换器 HandFormer 来高效地对手势和场景语义进行建模，该方法在处理效率和准确率方面具有显著优势，并在自我中心行为识别方面取得了最新的最好性能。

    Mar, 2024

  • 基于三维骨架的行为识别学习方法调查

    这篇研究论文介绍了从基于深度学习架构的角度全面讨论使用三维骨架数据进行动作识别，并详细介绍了基于循环神经网络 (RNN)-based、卷积神经网络 (CNN)-based 和图卷积网络 (GCN)-based 的主流动作识别技术，并介绍了包括 NTU-RGB+D 在内的多个数据集和算法。

    Feb, 2020