该研究提出了一种基于多模态人工智能的框架，以监测一个人的工作行为和压力水平，并发现导致精神紧张和疲劳的个性化独特行为模式，从而检测和分类压力，准确率为 96.09％，可以帮助社区大众，特别是在 COVID-19 当前时间工作久坐人群监测和识别压力水平。

Jun, 2023

本研究使用德语说话者的 Ulm-TSST 数据集，通过使用音频 - 视觉记录和生物信号特征来预测情绪唤醒和价值评估的水平，利用 LSTM 和自我注意机制来捕捉其复杂的时序依赖关系，并借助迟到融合策略进一步提高其识别性能。

Oct, 2021

本研究通过对语音、视觉、语言和生物信号进行综合集成，聚焦于情感和情绪、生理情感和基于情感的压力识别的挑战，并介绍了包括情感识别和健康信息学在内的不同领域的社区。同时，介绍了通过本研究提供的基线模型，长短时记忆 - 递归神经网络，从使用者生成的评论数据集 MuSe-CaR 和展示压力状态下人们的 Ulm-TSST 数据集中提取的基于最先进技术的特征集。在每个子挑战中，我们对参与者进行一项竞争性基线测试，并在测试中报告了 MuSe-Wilder 的 0.4616CCC，MuSe-Stress 的 0.4717CCC 和 MuSe-Physio 的 0.4606CCC 的合一性相关系数以及 MuSe-Sent 的 32.82% 的 F1 分数。

Apr, 2021

本文介绍了在 MuSe 挑战赛 2022（包括 MuSe-Humor，MuSe-Reaction 和 MuSe-Stress 子挑战赛）中使用 TEMMA 和 GRU 自注意机制框架提取各种多模态特征，并融合这些特征来提高准确性并预测情感，同时进行数据增强和处理处理样本不均衡的问题。我们模型在三个子挑战中均取得了优秀的表现。

Aug, 2022

本文提出一种多模态情感知识共享框架（UniMSE），用于统一多模态情感分析（MSA）和对话中情绪识别（ERC）任务以 better capture the difference and consistency between sentiments and emotions by performing modality fusion at the syntactic and semantic levels and introducing contrastive learning between modalities and samples. 通过在四个公共测试数据集上的实验，展示了该方法的有效性并与最先进的方法进行了一致的改进。

Nov, 2022

情感识别是一个复杂的任务，本论文通过多角度研究数据集、标签、建模、人口统计学和成员变量编码以及评估等方面的挑战，推进了强健、实用的情感识别模型的发展。

Sep, 2023

MuSe 2022 是致力于多模态情感分析和情感识别的国际竞赛，旨在通过使用三个数据集解决情感计算的三个现代相关问题，主要针对的是音频视觉情感识别、健康信息学和符号情感分析等领域。该基线论文通过使用循环神经网络提出了具有竞争力的基准结果，特别是在 MuSe-Stress 测试中，其可预测连续的压力情感值，其中我们报告了一个曲线下面积（AUC）为 0.8480 的结果，且在 MuSe-Reaction 和 MuSe-Stress 中实现了 0.2801 和 0.4931 CCC 和 0.4761 的相关性系数。

Jun, 2022

通过提出一种多模态注意力网络，将跨模态注意力注入每个层级的特定模态中，从而整合多模态数据特征，实现情感识别，并通过多模态可解释性可视化模块使模型的情感预测能够理解其推理过程。

Jan, 2024

本研究提出了一种多模式学习方法，用于压力检测，该方法结合了面部标记和生物特征信号。我们测试了这种多模式集成的各种早期融合和后期融合技术，以整合来自生物特征信号的一维卷积神经网络模型和使用面部标记的二维卷积神经网络。研究结果表明，后期融合的准确率达到 94.39％，而早期融合的准确率达到 98.38％。该研究通过多模式方法提供了提高压力检测的有价值的见解。

Nov, 2023

本文提出了一种多模态多任务学习的情感识别方法，包括文本和声学模态的早期融合和自我注意力，使用动态融合网络用于语音编码器，得到了目前最先进的性能结果。

Mar, 2022