使用多模态数据构建最大的动作捕捉数据集 BEAT，探究人体动作相关性以及语义相关性建立基于 CaMN 的愉悦对话姿态综合模型，并且提出了语义相关性手势回溯指标 SRGR。

Mar, 2022

通过膜电位作为记忆列表，我们首次将无源领域适应引入脉冲神经网络，以缓解由分布变化引起的准确性降低，并通过新型的脉冲波 Jaccard 注意力提高了脉冲神经网络对表面肌电图特征的表示能力，从而显著提高了系统的准确性。在收集的新的表面肌电图手势数据集中，SpGesture 在不同的前臂姿势中实现了最高的准确率（89.26%），并且在 CPU 上的实际部署展示了低于 100 毫秒的系统延迟，完全满足实时要求，这些令人印象深刻的性能展示了 SpGesture 在实际场景中增强表面肌电图的应用潜力。

May, 2024

本文提出了一种基于神经结构搜索的方法来进行 RGB-D 手势识别，该方法包括增强临时表示和优化多采样速率分支与侧向连接，实现了 RGB 和深度模态间和它们的时间动态之间关系的全面探究，并且在三个基准数据集上进行的全面实验证明了其在单 / 多模态设置下的最先进表现。

Aug, 2020

该研究提出了一个含有 7 种情感类别的中文多模态多场景多标签情感对话数据集，命名为 M3ED，用于帮助跨文化情感分析与识别，并提供了多模态上下文感知框架（MDI）以进行情感识别。

May, 2022

本文介绍了一个新的多模态任务的通用评估基准 GEM，它是一个大规模的视觉 - 语言基准，由包括图像 - 语言任务和视频 - 语言任务的 GEM-I 和 GEM-V 组成，并标记有多种语言的数据集。我们还为此基准提供了两个基准模型，旨在推动多语言多模态研究的发展。

Jun, 2021

使用 MDEAW 多模式数据库记录了学生在课堂上的情绪反应，结果表明了便携、低成本的设备的应用潜力，并建立了学生情感识别的基础。

Jul, 2022

本文介绍了 Amharic 语言情感识别数据集（ASED），并使用 MFCC 特征和 VGGb 模型进行实验，结果表明在不同的训练模式下 MFCC 特征的效果优于 Mel-spectrogram 特征。由于 VGGb 在 ASED 数据集上的表现优异，同时在训练时间最短，本文提出该模型可成功用于其他语言的情感识别任务。

Jan, 2022

NatSGD 是一个多模式人机交互数据集，在机器学习和人机交互研究交叉领域起到基础性的作用；我们通过训练机器人理解多模态人类指令的任务来展示其效果，并强调了同时考虑语音和手势的重要性。

Mar, 2024

本研究使用德语说话者的 Ulm-TSST 数据集，通过使用音频 - 视觉记录和生物信号特征来预测情绪唤醒和价值评估的水平，利用 LSTM 和自我注意机制来捕捉其复杂的时序依赖关系，并借助迟到融合策略进一步提高其识别性能。

Oct, 2021

手势识别是一种不可或缺的自然高效人机交互技术组成部分，特别是在桌面级应用中，可以显著提升人们的生产力。本研究建立了一个名为 GR4DHCI 的数据集，其独特之处在于其固有的自然性、直观性和多样性，其主要目的是作为开发桌面级便携应用的宝贵资源。GR4DHCI 包括超过 7000 个手势样本和 382,447 帧的立体红外和骨骼模态。我们还通过将 27 个不同的手部位置纳入数据集中解决了桌面交互中手部定位的差异问题。建立在 GR4DHCI 数据集的基础上，我们进行了一系列实验研究，结果表明本文提出的细粒度分类块可以提高模型的识别准确性。这篇论文中提出的数据集和实验结果有望推动桌面级手势识别研究的进展。

Jan, 2024