这篇论文介绍了一种三百万帧的多视角家具组装视频数据集IKEA ASM，其中包含深度、原子动作、对象分割和人体姿态等多种数据。研究者在该数据集上对视频动作识别、对象分割和人体姿态估计等任务进行了基准测试，为开发综合方法、集成多模和多视角数据等方面提供了依据。

Jul, 2020

Assembly101是一个新的过程性活动数据集，包含4321个视频，演示了人们组装和拆卸101个“拆卸”玩具车辆，并进行了注释以进行识别，预测和时间分割。 此外，他们还提出了一个新的错误检测任务。

Mar, 2022

本文介绍了IKEA-Manual数据集，提供了102个IKEA物体的图形化组装手册，包含细致全面的注释，以解决目前在构建能够执行装配任务的代理时，忽略了人类设计手册的信息的问题。该数据集有助于提高组装计划生成、部件分割、姿态估计和3D部件组装的效率。

Feb, 2023

以协作型机器人为代表的人机协作正在工业制造业中成为研究热点，为了提高其自主性与辅助功能，我们设计了ATTACH数据集，该数据集包含超过51小时的装配活动，涵盖了95.2k个精细注释的动作，为研发基于三维视觉的自主装配机器人提供了支持。

Apr, 2023

本文提出了一个创新的基于视觉感知的语义 HRC 系统 GoferBot，它能够在未经过结构化、多人和动态的环境中感知和理解人的行为，实现高效且直观的协作任务。该系统通过视觉感知纯粹的语义信息，融合了视觉伺服模块、人类动作预测模块和视觉交接模块，可用于实现装配任务。

Apr, 2023

本文探讨了如何将目标物体信息融入基于骨架的行为识别，以提高人员-机器人协作的效率和智能化水平，并在IKEA ASM数据集的实验中证明了该方法能够提高目前先进方法的性能。

Jun, 2023

为了实现未来的超级智能工业，本论文提出了HA-ViD——第一个可用于代表性工业组装场景、自然过程知识获取过程和一致的人机共享注释的人类组装视频数据集，主要解决组装过程中知识理解、流程效率、任务协作、技能参数和人类意图等方面的问题。

Jul, 2023

在现代工业装配线上，研发了许多智能算法来取代或监督工人。然而，我们发现在实际装配线上部署算法时，训练数据集和实时性能存在瓶颈。因此，我们开发了一种有前景的策略，利用具有强大泛化能力的大型模型来实现高效、高质量和大规模的数据集扩充，解决了工业数据集不足和质量低的问题。我们还将该策略应用于视频动作识别领域，提出了一种将手部动作识别问题转化为手部骨骼轨迹分类问题的方法，解决了工业算法的实时性能问题。在实际装配线上的“线材插入过程中的手部动作”场景下，手部动作识别的准确率达到了98.8%。我们进行了详细的实验分析，展示了该方法的有效性和优越性，并在美的实际装配线上部署了整个过程。

Mar, 2024

该研究提出了一个创新的计算机视觉框架，旨在通过与现有软件的无缝集成来分析工业环境中的人体运动，以增强生物力学分析。该框架利用先进的图像处理和建模技术，通过卷积神经网络（CNNs）、直接线性变换（DLT）和长短期记忆（LSTM）网络准确地检测关键身体节点，重建3D标记点，并生成详细的3D人体网格。广泛的评估验证了该框架的有效性，在各种动作下与传统基于标记点的模型展示出了可比较的结果，并在关节角度估计和体重、身高估计方面具有精确性。生物力学-57关键骨骼模板的集成进一步增强了该框架的鲁棒性和可靠性。该框架显示出在工业环境中进行细致的生物力学分析的显著潜力，消除了笨重的标记物的需求，并将其用途扩展到包括研究特定外骨骼装置对促进受伤工人迅速返回工作任务的影响在内的各个研究领域。

Apr, 2024

基于计算机视觉的新框架可追踪和量化工人上下肢的运动，并在达到临界阈值时发出警报，通过精确动作分析和主动人体工程学调整，提供了一种增强工人安全和生产力的工具。

May, 2024