CVPRJul, 2021

iMiGUE：面向微手势理解和情感分析的无标记视频数据集

PDF
TL;DR本文介绍了一个面向情感人工智能研究的新数据集：iMiGUE，它专注于基于非语言的微小手势，旨在综合评估模型分析情感状态的能力，通过引入无监督学习方法解决了样本分布不平衡问题，并揭示了基于微小手势的情感分析研究的新见解。
发现论文，激发创造
  • 基于微动作理解的无身份人工情绪智能

    本研究关注一类特殊的人体语言，即微小手势（MG），针对微小手势的动作识别和情感理解进行了研究，提出了多种增强策略和时空平衡融合方法，并通过实验证明了这些方法在微小手势识别和情感理解中的有效性。

    May, 2024

  • 通过上下文感知的视觉文本对比学习提升微手势情绪识别

    基于微手势的情绪理解通过非言语身体手势实现情绪理解，与人类情绪密切相关，提出了一种简单而有效的视觉 - 文本对比学习解决方案，利用文本信息进行微手势识别，并通过实验证明，该方法在两个公共数据集上达到了最先进的性能，进一步证明了利用微手势的文本结果可显著提高情绪理解的性能。

    May, 2024

  • 微动作识别基准：数据集、方法和应用

    该研究提出了一个用于微动作识别的基准测试集 Micro-action-52（MA-52）和微动作网络（MANet），通过收集全面的微动作线索来解决微动作的识别和理解问题，并展示了该方法在情感识别方面的应用价值。

    Mar, 2024

  • EMAGE: 通过掩码音频手势建模实现统一的整体共时手势生成

    提出了 EMAGE 框架，从音频和掩码手势生成全身人体动作，包括面部、局部身体、手部和整体运动。该框架利用了 BEATX 数据集和掩码手势先验知识，通过联合训练实现音频生成手势和掩码手势重建，生成与音频同步的全面动作。

    Dec, 2023

  • UAV-GESTURE: 用于无人机控制和手势识别的数据集

    为了填补这一空白并在更广泛的应用领域中开展研究，我们在室外环境中记录了一组 UAV 手势信号数据集。数据集中包含适用于基本 UAV 导航和指令的 13 个手势，共计 119 个高清视频剪辑，包含 37151 个帧，由基于姿势的卷积神经网络（P-CNN）计算得到的手势识别性能为 91.9％。

    Jan, 2019

  • 微观手势分类的联合骨骼和语义嵌入损失

    我们团队 HFUT-VUT 在 IJCAI 2023 的 MiGA 挑战中，通过提出基于骨架和语义嵌入损失的 3D-CNNs 微手势识别网络，成功在微手势分类挑战中以 Top-1 准确率优势排名第一。

    Jul, 2023

  • 从单模态到多模态：通过深度生成模型改进基于 sEMG 的模式识别

    通过使用深度生成模型生成虚拟惯性测量单元信号，将 sEMG 信号和生成的虚拟 IMU 信号输入多模态卷积神经网络模型，可以显著提高基于 sEMG 的手势识别的准确性。

    Aug, 2023

  • IMUSIC: 基于 IMU 的面部表情捕捉

    本文提出了一种基于惯性测量单元 (IMU) 的面部表情捕捉方法 IMUSIC，通过 IMU 信号实现面部表情的准确捕捉和分析，并保护用户的隐私。

    Feb, 2024

  • SGED：脉冲手势情感识别性能评估基准数据集

    本论文提出了一种基于伪双流网络的新的手势情感识别数据集，通过使用多模式信息的互补性来提高模型和算法的性能，并验证了其在情感计算领域中的应用潜力。

    Apr, 2023

  • 桌面人机交互的多模态手势识别数据集

    手势识别是一种不可或缺的自然高效人机交互技术组成部分，特别是在桌面级应用中，可以显著提升人们的生产力。本研究建立了一个名为 GR4DHCI 的数据集，其独特之处在于其固有的自然性、直观性和多样性，其主要目的是作为开发桌面级便携应用的宝贵资源。GR4DHCI 包括超过 7000 个手势样本和 382,447 帧的立体红外和骨骼模态。我们还通过将 27 个不同的手部位置纳入数据集中解决了桌面交互中手部定位的差异问题。建立在 GR4DHCI 数据集的基础上，我们进行了一系列实验研究，结果表明本文提出的细粒度分类块可以提高模型的识别准确性。这篇论文中提出的数据集和实验结果有望推动桌面级手势识别研究的进展。

    Jan, 2024