本研究探索了使用二维手部姿态和物体姿态信息实现以自我为中心的动作识别的可行性，并使用最先进的基于 Transformer 的方法分类序列，并取得了 94% 的验证结果，这突出了二维手部和物体姿态信息在动作识别任务中的潜力，并为基于 3D 的方法提供了有前途的替代方案。

Jun, 2023

本文探讨了开放集骨架动作识别（OS-SAR）任务的挑战，并提出了一种基于距离的跨模态集成方法，通过对骨骼关节、骨头和速度进行交叉模态对齐，在训练过程中使用交叉模态均值最大差异抑制机制，测试过程中使用基于距离的交叉模态逻辑改进方法，从而实现优秀的开放集识别表现。该方法在各个数据集和底层模型上持续取得最先进的结果。

Dec, 2023

本文提出了一种新的上下文感知自监督学习架构（CASA）, 该架构基于现成的人体姿态估计器，以解决视频中人类动作时间对齐的问题。CASA 通过引入自注意力和交叉 - 注意机制，结合人类活动的时空上下文，有效地解决了时间间断性的问题，并通过 4D 姿势表示的新颖增强技术来增强其自监督学习方案，实验结果表明，在三个公共数据集上，CASA 方法显著提高了相位进度和 Kendall Tau 得分比之前的最先进方法。

Apr, 2022

生成逼真的手部动作序列与物体的交互在数字人方面越来越受到关注，之前的工作已经证明了利用基于占据或基于距离的虚拟传感器来提取手物体交互特征的有效性，但是这些方法在物体类别、形状和大小方面的泛化能力有限。为了解决这个挑战，我们引入了一种新颖的以关节为中心的传感器，用于推理潜在交互区域附近的局部物体几何。该传感器查询每个手关节附近的物体表面点。我们通过将点从全局坐标系转换为手部模板坐标系，并使用共享模块处理每个独立关节的传感器特征来减少学习复杂性。然后，我们使用时空转换网络捕捉不同维度中关节之间的相关性。此外，我们设计了简单的启发式规则，以扩充有限的训练序列，增加丰富的静态手抓取样本。这样在训练过程中观察到更广泛的抓取类型，从而增强了我们模型的泛化能力。我们在两个公开数据集 GRAB 和 InterCap 上进行评估，结果表明我们的方法在定量和感知上都优于基线模型。

Apr, 2024

本研究利用增强刚体模拟方法追踪手部骨骼姿态，在利用深度传感器样本生成限制运动方式的约束的基础上，使用投影高斯 — 赛德尔求解器解决先前的运动，碰撞 / 接触限制，以及关节力学问题，实现了实时、鲁棒且准确的 3D 骨骼追踪。

May, 2017

理解人体姿势的行为对于与人类共享空间的辅助机器人来说是至关重要的，为了能够对下一次交互做出明智和安全的决策。然而，准确的时间定位和标注活动序列是耗时的，而且结果往往带有噪声。本研究通过将骨架动作识别方法与来自多个研究领域的标签去噪策略相结合，填补了这一空白，为此实施了一个框架作为初始基准。观察结果显示，这些基准在处理稀疏骨架数据时仅能提供较小的性能。因此，我们提出了一种新的方法，NoiseEraSAR，它集成了全局样本选择、共同教学和交叉模态混合专家（CM-MOE）策略，旨在减轻标签噪声的不利影响。我们的方法在已建立的基准上展示了更好的性能，树立了新的最先进标准。本研究的源代码将在此 https URL 上公开。

Mar, 2024

本文探讨了如何将目标物体信息融入基于骨架的行为识别，以提高人员 - 机器人协作的效率和智能化水平，并在 IKEA ASM 数据集的实验中证明了该方法能够提高目前先进方法的性能。

Jun, 2023

通过探索 2D 手势姿态评估用于自我中心动作识别的领域，我们提出了两种新方法：EffHandNet 用于单手姿态估计和 EffHandEgoNet 用于自我视角，捕捉手部与物体之间的交互。同时，我们提出了一个从 2D 手部和物体姿态的坚固的动作识别架构。通过在 H2O 和 FPHA 数据集上的评估，我们的架构具有更快的推断时间，并且分别达到了 91.32% 和 94.43% 的精度，超越了包括基于 3D 的方法在内的最先进的技术。

Apr, 2024

这篇文章提出了一种手势捕捉框架，其结合了生成模型和歧视性训练显著点，以实现对物体和其他手势之间互动场景的精确捕捉，并使用碰撞检测和物理模拟实现了在遮挡和缺失数据情况下的准确估计，能适用于单目 RGB-D 序列和同步多 RGB 摄像头的设置。

Jun, 2015

我们提出了一种特定设计的手势识别方法，利用相对角嵌入和局部球面谐波创建新颖的手势表示。我们在两个数据集上进行了广泛实验，证明了使用局部球面谐波表示的好处。

Aug, 2023