通过上下文感知的视觉文本对比学习提升微手势情绪识别
本研究关注一类特殊的人体语言,即微小手势(MG),针对微小手势的动作识别和情感理解进行了研究,提出了多种增强策略和时空平衡融合方法,并通过实验证明了这些方法在微小手势识别和情感理解中的有效性。
May, 2024
利用大型语言模型(LLMs)适应手势分析和生成,使用 ChatGPT 作为工具建议能够实现设计师意图的上下文特定手势,并且发现 ChatGPT 可以提供不在最小训练数据中的新颖而适当的手势,从而减少繁琐的注释工作,并有潜力快速适应不同的设计意图。
Oct, 2023
通过使用深度生成模型生成虚拟惯性测量单元信号,将 sEMG 信号和生成的虚拟 IMU 信号输入多模态卷积神经网络模型,可以显著提高基于 sEMG 的手势识别的准确性。
Aug, 2023
介绍了一种使用基于变压器的学习方法来生成虚拟代理与自然语言输入对应的带有情感表达的全身手势的方法,通过使用生物力学的特征和考虑目标虚拟代理的性别和利手性,该方法能以交互性的速度在图形处理器上产生实时且富有表现力的手势,经过网页用户研究,其生成的手势在趋向性和情感上与预期高度吻合。
Jan, 2021
提出了一种通过 GPT 提取语义信息并利用手势库和集成模块生成与语音文本相关的语境适当和表现丰富的共同言语手势的姿态生成新方法 GesGPT。
Mar, 2023
通过问题转换方法和合成数据生成策略,本研究提出了一种表面肌电图(sEMG)手势识别系统,可有效提高表达能力,在短时间内实现模型校准,适用于人机交互、虚拟现实和机器人控制等领域。
Sep, 2023
设计并测试了一种实时控制的用户界面系统,通过提取腕带配置中八个电极的表面肌电(sEMG)活动。实时将 sEMG 数据传入机器学习算法,用于手势分类。实验结果表明,相对于基线,修改的反馈条件显著提高了准确性和手势分类分离,暗示了通过反馈操作的游戏化用户界面可能实现基于 sEMG 手势识别应用的直观、快速、准确的任务获取。
Sep, 2023
该研究论文探讨了大型语言模型(LLMs)与非语言交流(特别关注手势)的相互作用,并计划通过实验测试 LLMs 对手势的理解能力和上下文解释。
Jan, 2024
本研究旨在提出一个强大的触觉手势识别系统,通过对各种手势识别方法进行综合评估,包括传统的特征工程方法和能够实时解释各种手势的当代深度学习技术,以适应手的大小、运动速度、施加压力水平和交互点的变化,我们对各种方法的深入分析为人机交互领域的基于触觉的手势识别做出了重要贡献。
May, 2024
通过使用依据动作方向和修改因素定义的综合手势,从而快速实现高准确度的表情人机交互,且最小化了新受试者提供校准数据的时间。通过将真实的单一手势特征向量结合生成合成训练数据,我们从未见过的组合手势进行外推,这样的策略构建了一个大而灵活的手势词汇,而无需新受试者演示大量的示例手势。通过自我监督,我们预先训练了一个编码器和组合操作符,为未见受试者提供有用的合成训练数据。通过收集真实世界的电肌图数据集,并与两个基线方法进行对比评估:仅使用未见受试者的真实单一手势数据进行部分监督训练的模型,以及使用未见受试者的真实单一手势和真实组合手势数据进行完全监督训练的模型。研究结果表明,所提出的方法明显优于部分监督模型,并且在某些情况下达到了接近完全监督模型性能的有用分类准确度。
Oct, 2023