May, 2024

基于微动作理解的无身份人工情绪智能

PDF
TL;DR本研究关注一类特殊的人体语言，即微小手势（MG），针对微小手势的动作识别和情感理解进行了研究，提出了多种增强策略和时空平衡融合方法，并通过实验证明了这些方法在微小手势识别和情感理解中的有效性。
micro-gesturesaction recognitionemotional understandingaugmentation strategiesspatiotemporal balancing fusion method
发现论文，激发创造
  • 通过上下文感知的视觉文本对比学习提升微手势情绪识别

    基于微手势的情绪理解通过非言语身体手势实现情绪理解，与人类情绪密切相关，提出了一种简单而有效的视觉 - 文本对比学习解决方案，利用文本信息进行微手势识别，并通过实验证明，该方法在两个公共数据集上达到了最先进的性能，进一步证明了利用微手势的文本结果可显著提高情绪理解的性能。

    May, 2024

  • iMiGUE：面向微手势理解和情感分析的无标记视频数据集

    本文介绍了一个面向情感人工智能研究的新数据集：iMiGUE，它专注于基于非语言的微小手势，旨在综合评估模型分析情感状态的能力，通过引入无监督学习方法解决了样本分布不平衡问题，并揭示了基于微小手势的情感分析研究的新见解。

    Jul, 2021

  • 微动作识别基准：数据集、方法和应用

    该研究提出了一个用于微动作识别的基准测试集 Micro-action-52（MA-52）和微动作网络（MANet），通过收集全面的微动作线索来解决微动作的识别和理解问题，并展示了该方法在情感识别方面的应用价值。

    Mar, 2024

  • 微观手势分类的联合骨骼和语义嵌入损失

    我们团队 HFUT-VUT 在 IJCAI 2023 的 MiGA 挑战中，通过提出基于骨架和语义嵌入损失的 3D-CNNs 微手势识别网络，成功在微手势分类挑战中以 Top-1 准确率优势排名第一。

    Jul, 2023

  • 在线识别不完整手势数据，以实现协作机器人的接口

    本文介绍了一个用于大量静态手势和动态手势分类识别的人机交互框架，利用佩戴式传感器进行数据收集，并采用降维和神经网络等处理技术，最终实现了在实时环境下的高准确率手势识别。

    Apr, 2023

  • 学习个体交谈手势风格

    本研究旨在对 “野外” 单个说话人的单调发言进行语音输入并生成合理的手臂动作，通过训练无标签视频并将我们的模型与基准方法进行量化比较，证明了我们提出的模型在肢体运动与语音之间的交叉模式翻译方面显着优于基准方法，并且我们发布了一个大型的视频数据集以支持研究。

    Jun, 2019

  • 情感身体手势识别调查

    本文调研了自动情感识别领域中人体动作的情感表达。提出了完整的框架，包括人体检测、姿态估计、情感识别等组成部分。并讨论了多模态情感表达识别的方法。

    Jan, 2018

  • ICE-GAN: 基于图推理的身份感知和胶囊增强型 GAN 用于微表情识别与合成

    本文提出了一种基于生成对抗网络的方法 (ICE-GAN)，加入微表情合成作为辅助任务以辅助微表情的自动识别，并在微表情相关挑战赛中获得了比冠军高出 12.9% 的成绩。

    May, 2020

  • 将表征性手势融入自动生成的具身化解释并其对理解和交互质量的影响

    通过开发一个集成了拍手手势和象征性手势的虚拟解释器来研究手势对解释的影响，发现手势无法单独或与拍手手势结合使用超越基准或仅使用拍手手势的条件在理解方面的表现，但是与先前的研究相比，具身化代理显著增强了理解。

    Jun, 2024

  • GestureGPT: 大型语言模型代理的零 - shot 交互式手势理解与 grounding

    当前的手势识别系统主要集中在识别预定义集合中的手势，无法将这些手势与交互式 GUI 元素或系统功能连接起来。我们引入了 GestureGPT，这是一个新颖的零样本手势理解和基础框架，利用大型语言模型（LLMs）。手势描述基于手势视频中的手部地标坐标构建，并输入到我们的双代理对话系统中。手势代理解码这些描述并查询交互上下文（例如界面、历史、凝视数据），上下文代理组织并提供这些信息。在迭代交互后，手势代理确定用户意图并将其连接到交互功能。我们使用公开的第一视角和第三视角手势数据集验证了手势描述模块，并在两个真实世界环境中进行了整个系统的测试：视频流和智能家居物联网控制。零样本 Top-5 基础准确率最高为 80.11%（视频流）和 90.78%（智能家居任务），展示了这种新的手势理解范式的潜力。

    Oct, 2023