本文提出了一种基于 Transformer 网络的多模态多尺度算法，通过微表情的运动和纹理两种特征完全学习微表情的局部多粒度特征，实现了不同尺度脸部局部区域特征的提取并在三个自然数据集上进行了综合实验。结果表明，该算法在单个测量 SMIC 数据库中的准确度高达 78.73％，在合并数据库的 CASMEII 上的 F1 值高达 0.9071，处于领先水平。

Jan, 2023

提出了一种结合多模态数据的新型多模态学习框架，旨在提高潜在情绪识别准确度，包括一维可分离和可混合的深度入手网络、标准化的正态分布加权特征融合方法以及深度 / 生理引导的注意力模块。实验结果表明，该方法优于基准方法，其中加权融合方法和引导注意力模块都对性能提升起到了贡献。

Aug, 2023

本文提出使用基于 Transformer 的模型处理心电图以进行情感识别，利用 Transformer 的注意机制为信号构建上下文化表示，并通过全连接网络对这些表示进行处理，以预测情感，同时利用自监督学习来克服情感标签数据集相对较小的限制，实现了对 AMIGOS 数据集上心电图情感识别的最新性能，并且表明了 Transformer 和预训练是应用于生理信号情感识别的有前途的策略。

Apr, 2022

本论文提出了一种新颖的统一生物传感器 - 视觉多模态 Transformer 方法（UBVMT），通过将 2D 心电图 / 脉搏波图像与面部信息相结合，用于在唤醒 - 价值空间中对情绪进行分类。实验结果表明，我们的统一 UBVMT 模型与最先进技术相比具有可比较的性能。

Aug, 2023

本文提出一种新的多层次转换器模型，将细粒度表示和预训练的话语级别表示相结合，结合不同的方法将音素级别嵌入与单词级别嵌入相结合，从而进行细粒度的多模式情感识别，最终在 IEMOCAP 数据集上，我们的模型均优于之前的最优方法。

Oct, 2022

通过在超复数域中进行操作，该论文提出了一个带有新型融合模块的超复数多模态网络，实现了从生理信号中的分类情感识别，超越了多模态最先进的网络。

Oct, 2023

本文提出了基于 Transformer 和调制的两种极具轻量性能却强大的情感识别和情感分析解决方案，通过组合大量数据集的语言和语音输入来挑战、有时甚至超越这一领域的现有技术，并在 IEMOCAP、MOSI、MOSEI 和 MELD 数据集上评估和验证其性能。

Oct, 2020

通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

Feb, 2024

介绍了 PVGs AI Club 团队在 WASSA 2022 举办的情感分类共享任务中的方法。使用基于转换器模型的基准，并基于情感特定表示的两个变体，利用集成技术改善了性能，最终达到了情感分类任务的 0.619 的准确度和 0.520 的宏 F1 分数。

Apr, 2022

本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

Sep, 2021