Oct, 2023

使用组合同态电肌图编码器的快速与表达性手势识别

PDF
TL;DR通过使用依据动作方向和修改因素定义的综合手势，从而快速实现高准确度的表情人机交互，且最小化了新受试者提供校准数据的时间。通过将真实的单一手势特征向量结合生成合成训练数据，我们从未见过的组合手势进行外推，这样的策略构建了一个大而灵活的手势词汇，而无需新受试者演示大量的示例手势。通过自我监督，我们预先训练了一个编码器和组合操作符，为未见受试者提供有用的合成训练数据。通过收集真实世界的电肌图数据集，并与两个基线方法进行对比评估：仅使用未见受试者的真实单一手势数据进行部分监督训练的模型，以及使用未见受试者的真实单一手势和真实组合手势数据进行完全监督训练的模型。研究结果表明，所提出的方法明显优于部分监督模型，并且在某些情况下达到了接近完全监督模型性能的有用分类准确度。
gesture recognitionelectromyographyexpressive human-computer interactioncalibration datasynthetic training data
发现论文，激发创造
  • 增强基于肌电信号的手势识别表达能力的多标签分类方法

    通过问题转换方法和合成数据生成策略，本研究提出了一种表面肌电图（sEMG）手势识别系统，可有效提高表达能力，在短时间内实现模型校准，适用于人机交互、虚拟现实和机器人控制等领域。

    Sep, 2023

  • 手势识别中的瞬态高密度肌电图的深度学习序列解码器与主体嵌入式迁移学习

    使用 HD-sEMG 和深度学习来实现手势识别，通过主观内嵌结构和预知预培训的方法，在数据有限的情况下，相对于特定用户方法，取得了超过 13% 的平均准确率，为新用户减少了大量数据需求，提高了实用性。

    Sep, 2023

  • 从单模态到多模态：通过深度生成模型改进基于 sEMG 的模式识别

    通过使用深度生成模型生成虚拟惯性测量单元信号，将 sEMG 信号和生成的虚拟 IMU 信号输入多模态卷积神经网络模型，可以显著提高基于 sEMG 的手势识别的准确性。

    Aug, 2023

  • 使用误差增强的肌电手势分类用户训练

    设计并测试了一种实时控制的用户界面系统，通过提取腕带配置中八个电极的表面肌电（sEMG）活动。实时将 sEMG 数据传入机器学习算法，用于手势分类。实验结果表明，相对于基线，修改的反馈条件显著提高了准确性和手势分类分离，暗示了通过反馈操作的游戏化用户界面可能实现基于 sEMG 手势识别应用的直观、快速、准确的任务获取。

    Sep, 2023

  • 跨受试者手势分类的 EMG 子空间对齐和可视化

    电肌电图（EMG）手势识别系统是人机界面的一种有前途的技术，然而其主要限制之一是通常需要较长的校准时间来处理新用户。本文讨论和分析了通过包含 14 名人类主体的 EMG 信号的原始数据集来实现跨主体泛化的挑战。实验结果表明，虽然基于多个主体进行准确的泛化几乎是不可实现的，但通过识别多个主体的稳健低维子空间并将其与目标主体对齐，可以改善跨主体估计。子空间的可视化能够为利用 EMG 信号改善跨主体泛化提供见解。

    Dec, 2023

  • 深度度量元学习用于鲁棒且可解释的基于肌电的手势识别

    我们提出了一种基于深度度量元学习的肌电图案识别模型，通过使用 Siamese 深度卷积神经网络和对比三元损失来学习能够捕捉不同类别分布的肌电特征嵌入空间，进而采用最近质心方法进行推断，提出了一种有效的基于类近程度的置信度评估器，改善了分类器在主动决策中的精度，从而提高了泛化能力和适用性。

    Apr, 2024

  • EMGTFNet：用于手势识别的上肢表面肌电信号解码的模糊视觉 Transformer

    我们提出了一种基于 Vision Transformer (ViT) 和模糊神经网络块 (Fuzzy Neural Block, FNB) 的 EMGTFNet 架构，用于通过表面肌电图 (surface electromyography, sEMG) 信号进行手势识别，该架构能够准确分类各种手势，无需数据增强技术、迁移学习或网络参数的显著增加。实验证明，我们的结果优于无 FNB 的 ViT 模型，证明了包含 FNB 可以提高其性能，我们的提议框架 EMGTFNet 具有显著的实际应用潜力，可用于假肢控制。

    Sep, 2023

  • MEET: 基于混合专家的额外树型 sEMG 手势识别

    人工智能在各领域如医学、机器人、教育、工业等方面取得重大进展，其中人手势识别是利用肌电图在机械手控制中最近兴起的研究兴趣领域。通过混合专家额外树（MEET）模型，结合多种机器学习算法和信号捕获设备，对手势进行准确有效的识别。

    May, 2024

  • MPE4G：用于共语手势生成的多模态预训练编码器

    本文提出了一种基于多模态预训练编码器的共话手势生成方法，该方法通过自监督学习训练基于多头注意力的编码器以包含每种模态的信息，从而实现即使在输入模态缺失或存在噪声时，仍能生成逼真的共话手势。

    May, 2023

  • 基于表面肌电信号、轻量级全卷积网络和迁移学习的跨会话 / 跨受试者手势识别

    提出了一种基于 All-ConvNet+TL 模型和轻量级卷积层的手势识别方法，旨在提高跨会话和跨被试的手势识别性能。实验结果表明，该方法在四个数据集上的表现均显著优于现有复杂方法，并在目标域上表现相当甚至更好，这表明现有的最先进模型可能对 sEMG 基于跨会话和跨被试手势识别任务存在过度参数化现象。

    May, 2023