从单模态到多模态:通过深度生成模型改进基于 sEMG 的模式识别
使用 HD-sEMG 和深度学习来实现手势识别,通过主观内嵌结构和预知预培训的方法,在数据有限的情况下,相对于特定用户方法,取得了超过 13% 的平均准确率,为新用户减少了大量数据需求,提高了实用性。
Sep, 2023
我们提出了一种基于深度度量元学习的肌电图案识别模型,通过使用 Siamese 深度卷积神经网络和对比三元损失来学习能够捕捉不同类别分布的肌电特征嵌入空间,进而采用最近质心方法进行推断,提出了一种有效的基于类近程度的置信度评估器,改善了分类器在主动决策中的精度,从而提高了泛化能力和适用性。
Apr, 2024
通过问题转换方法和合成数据生成策略,本研究提出了一种表面肌电图(sEMG)手势识别系统,可有效提高表达能力,在短时间内实现模型校准,适用于人机交互、虚拟现实和机器人控制等领域。
Sep, 2023
我们提出了一个基于 3D 卷积神经网络的方法,使用多个模态的数据来训练单模态网络,通过引入一个空间时间语义对齐的损失函数和一个针对负面知识传递的正则化参数来避免在多个模态之间进行直接的融合以提高手势识别性能。实验结果表明,我们的框架提高了单模态网络的测试时间识别准确性,并在各种动态手势识别数据集上提供了最先进的性能。
Dec, 2018
设计并测试了一种实时控制的用户界面系统,通过提取腕带配置中八个电极的表面肌电(sEMG)活动。实时将 sEMG 数据传入机器学习算法,用于手势分类。实验结果表明,相对于基线,修改的反馈条件显著提高了准确性和手势分类分离,暗示了通过反馈操作的游戏化用户界面可能实现基于 sEMG 手势识别应用的直观、快速、准确的任务获取。
Sep, 2023
通过使用依据动作方向和修改因素定义的综合手势,从而快速实现高准确度的表情人机交互,且最小化了新受试者提供校准数据的时间。通过将真实的单一手势特征向量结合生成合成训练数据,我们从未见过的组合手势进行外推,这样的策略构建了一个大而灵活的手势词汇,而无需新受试者演示大量的示例手势。通过自我监督,我们预先训练了一个编码器和组合操作符,为未见受试者提供有用的合成训练数据。通过收集真实世界的电肌图数据集,并与两个基线方法进行对比评估:仅使用未见受试者的真实单一手势数据进行部分监督训练的模型,以及使用未见受试者的真实单一手势和真实组合手势数据进行完全监督训练的模型。研究结果表明,所提出的方法明显优于部分监督模型,并且在某些情况下达到了接近完全监督模型性能的有用分类准确度。
Oct, 2023
本研究聚焦于手势识别,通过数据级融合和多流卷积神经网络架构的集成调节器,有效地解决了人手形态中的个体差异问题,将骨骼模式的时空手势信息编码到 RGB 图像中,从而提高了姿势理解的语义并降低了噪声,其在 SHREC2017、DHG1428、FPHA、LMDHG 和 CNR 等基准数据集上实现了实时运行,大幅减少硬件需求和计算复杂性,为资源受限设备的人机交互和环境智能提供了可靠性和创新性。
Jun, 2024
通过分析上肢的非侵入性表面肌电图(sEMG)信号,我们展示了一种简单的技术,可以识别不同手势并且解决了信号变异性的问题,并且通过在 Riemann 流形上使用协方差矩阵分析空间模式,成功地模拟了分布在各个肌肉之间的复杂相互作用和评估 sEMG 信号之间的差异。
Nov, 2023
我们提出了一种基于 Vision Transformer (ViT) 和模糊神经网络块 (Fuzzy Neural Block, FNB) 的 EMGTFNet 架构,用于通过表面肌电图 (surface electromyography, sEMG) 信号进行手势识别,该架构能够准确分类各种手势,无需数据增强技术、迁移学习或网络参数的显著增加。实验证明,我们的结果优于无 FNB 的 ViT 模型,证明了包含 FNB 可以提高其性能,我们的提议框架 EMGTFNet 具有显著的实际应用潜力,可用于假肢控制。
Sep, 2023
提出了一种利用机器学习系统通过 tri-axial 加速度数据识别动态手势的方法,该系统能够以最少的预处理分类不同速度的手势,而且在低成本的嵌入式平台(Raspberry Pi Zero)上运行,具备经济可行性。
Sep, 2018