Mar, 2024

一种自适应多模态融合的进化网络架构搜索框架用于手势识别

PDF
TL;DR我们提出了一个具有自适应多模态融合的进化网络架构搜索框架（AMF-ENAS），通过自动解码，能够自动构建具有不同架构的多模态网络，该算法在多模态手势识别（MHGR）方面取得了最先进的性能。
hand gesture recognitionmultimodal datamultimodal hgrevolutionary network architecture searchadaptive multimodal fusion
发现论文，激发创造
  • 搜索多速率和多模态时域增强网络进行手势识别

    本文提出了一种基于神经结构搜索的方法来进行 RGB-D 手势识别，该方法包括增强临时表示和优化多采样速率分支与侧向连接，实现了 RGB 和深度模态间和它们的时间动态之间关系的全面探究，并且在三个基准数据集上进行的全面实验证明了其在单 / 多模态设置下的最先进表现。

    Aug, 2020

  • 实时手势识别：骨骼数据融合和多流 CNN 的整合

    本研究聚焦于手势识别，通过数据级融合和多流卷积神经网络架构的集成调节器，有效地解决了人手形态中的个体差异问题，将骨骼模式的时空手势信息编码到 RGB 图像中，从而提高了姿势理解的语义并降低了噪声，其在 SHREC2017、DHG1428、FPHA、LMDHG 和 CNR 等基准数据集上实现了实时运行，大幅减少硬件需求和计算复杂性，为资源受限设备的人机交互和环境智能提供了可靠性和创新性。

    Jun, 2024

  • 深度多模态神经架构搜索

    本文提出了一种深度多模态神经网络架构搜索（MMnas）框架， 通过使用基于梯度的 NAS 算法，可以高效地学习不同任务的最佳架构，并设计了一个统一的编码器 - 解码器骨干网络，其中每个编码器或解码器块对应于从预定义的操作池中搜索出来的操作，以及面向不同多模态学习任务的特定头部。实验结果表明，MMnasNet 在三个多模态学习任务上显着优于现有的最先进方法，包括视觉问答、图像文本匹配和视觉定位。

    Apr, 2020

  • 多模电子健康记录的自动融合提升医疗预测能力

    我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

    Jan, 2024

  • 从单模态到多模态：通过深度生成模型改进基于 sEMG 的模式识别

    通过使用深度生成模型生成虚拟惯性测量单元信号，将 sEMG 信号和生成的虚拟 IMU 信号输入多模态卷积神经网络模型，可以显著提高基于 sEMG 的手势识别的准确性。

    Aug, 2023

  • 手势识别中的瞬态高密度肌电图的深度学习序列解码器与主体嵌入式迁移学习

    使用 HD-sEMG 和深度学习来实现手势识别，通过主观内嵌结构和预知预培训的方法，在数据有限的情况下，相对于特定用户方法，取得了超过 13% 的平均准确率，为新用户减少了大量数据需求，提高了实用性。

    Sep, 2023

  • MUFASA: 电子病历的多模态融合架构搜索

    本文介绍了一种名为 MUFASA 的多模态融合模型，在电子病历诊断中表现出与传统模型相比具有更高的数据分类准确度。该模型通过结合不同数据模态的表示方法和模型架构的搜索，有效地解决了深度学习模型在电子病历分析中的问题。

    Feb, 2021

  • 使用组合同态电肌图编码器的快速与表达性手势识别

    通过使用依据动作方向和修改因素定义的综合手势，从而快速实现高准确度的表情人机交互，且最小化了新受试者提供校准数据的时间。通过将真实的单一手势特征向量结合生成合成训练数据，我们从未见过的组合手势进行外推，这样的策略构建了一个大而灵活的手势词汇，而无需新受试者演示大量的示例手势。通过自我监督，我们预先训练了一个编码器和组合操作符，为未见受试者提供有用的合成训练数据。通过收集真实世界的电肌图数据集，并与两个基线方法进行对比评估：仅使用未见受试者的真实单一手势数据进行部分监督训练的模型，以及使用未见受试者的真实单一手势和真实组合手势数据进行完全监督训练的模型。研究结果表明，所提出的方法明显优于部分监督模型，并且在某些情况下达到了接近完全监督模型性能的有用分类准确度。

    Oct, 2023

  • 一个多阶段自适应特征融合神经网络用于多模态步态识别

    通过多阶段特征融合策略（MSFFS），自适应特征融合模块（AFFM）和多尺度时空特征提取器（MSSTFE）提出了一种多阶段自适应特征融合（MSAFF）神经网络，结合了多种模态的优势，在多个数据集上展现出最先进的性能。

    Dec, 2023

  • EMGTFNet：用于手势识别的上肢表面肌电信号解码的模糊视觉 Transformer

    我们提出了一种基于 Vision Transformer (ViT) 和模糊神经网络块 (Fuzzy Neural Block, FNB) 的 EMGTFNet 架构，用于通过表面肌电图 (surface electromyography, sEMG) 信号进行手势识别，该架构能够准确分类各种手势，无需数据增强技术、迁移学习或网络参数的显著增加。实验证明，我们的结果优于无 FNB 的 ViT 模型，证明了包含 FNB 可以提高其性能，我们的提议框架 EMGTFNet 具有显著的实际应用潜力，可用于假肢控制。

    Sep, 2023