多模 ERC 在驱动人机交互发展方面扮演了重要角色，但面临多模态信息融合中的噪声问题以及类别语义相似但样本标签较少的预测问题。为应对这些问题，本研究采用了深度情感线索提取、特征过滤器设计、多模态提示转换器和混合对比学习等策略，实现了更好的多模态融合表现和对少样本标签的处理能力。实验结果证明，所提出的模型在两个基准数据集上优于现有模型。

Oct, 2023

提出了一种新的基于提示和语言模型调整的情感识别模型 CISPER，通过融入上下文信息、交往者情感以及常识知识等要素，可以更加准确地识别对话中的情感表达，明显超过当前最优解。

Jul, 2022

本研究提出了一种以情绪识别为中心的混合课程学习框架，其中包括对话级别和话语级别课程。使用情感转移频率对对话进行排序并逐步强化模型对混淆情感的识别能力，我们观察到该模型跨多个 ERC 数据集显著提高了性能，达到了新的最先进水平。

Dec, 2021

本篇研究利用多模态方法提高情感识别的准确性，提出了一种多模态融合网络 M2FNet，利用视觉、音频和文本模态提取情感相关特征，并使用多头注意力机制进行融合。经实验验证，该方法在 MELD 和 IEMOCAP 数据集上表现显著优于其他方法，达到了情感识别领域的最新性能表现。

Jun, 2022

本文提出了一种多模态 ERC 模型，并在其上添加了情感转移组件以提高性能，在 MOSEI 和 IEMOCAP 数据集上的结果表明，情感转移信号的加入有助于该模型优于现有的 ERC 模型。

Dec, 2021

在对话中进行情感识别（ERC）意味着检测每个话语背后的情感。有效生成话语的表示仍然是这项任务中的一个重大挑战。最近的研究提出了各种模型来解决这个问题，但是仍然难以区分类似的情感，如兴奋和幸福。为了缓解这个问题，我们提出了一种情感锚定对比学习（EACL）框架，能够为相似的情感生成更具区分性的话语表示。为了实现这一目标，我们利用标签编码作为锚点来指导话语表示的学习，并设计了一个辅助损失来确保相似情感的锚点有效分离。另外，还提出了一个额外的适应过程，将锚点适应为有效的分类器，以提高分类性能。通过广泛的实验，我们提出的 EACL 框架实现了最新的情感识别性能，并在类似情感上表现出卓越的性能。我们的代码可在此 https 网址获得。

Mar, 2024

综述了多模式对话情感识别的建模方法，大致划分为无上下文建模、顺序上下文建模、说话人差异建模和说话人关系建模四个类别，并讨论了多模式特征提取方法、应用领域、挑战和未来发展方向。希望能够帮助研究人员理解当前情感识别研究的现状，提供一些启示，并开发出更高效的模型。

Dec, 2023

介绍情感识别和相关挑战和机遇。然后描述了主要的情感分类法和应对主观性注释的方法。接着详细阐述了深度学习方法以及处理任务性能指标和不平衡 ERC 数据的方法。最后，对关键 ERC 工作进行了描述和基准测试，并比较了它们在不同数据集上的方法和性能。强调利用技术解决不平衡数据、探索多种情感和在学习阶段融入注释主观性的好处。

Nov, 2022

提出了一个分布式框架，将自动情感识别作为序列到序列问题来解决，通过引入贝叶斯训练损失来改善情感分布的不确定性估计，从而更好地处理情感标签的不确定性，实验结果表明，分布式框架在情感分类和不确定性估计方面优于单次话语和传统的基于人工设计特征的方法。

Nov, 2022

通过教师引导的多模融合网络（TelME），本文提出了一种在对话系统中实现情绪识别的方法，通过跨模态知识蒸馏来提高非语言模态在情绪识别中的功效，并使用学生网络支持教师实现多模态特征的结合。在 ERC 的多说话人对话数据集 MELD 中，TelME 实现了最先进的性能。通过额外的实验证明了我们组件的有效性。

Jan, 2024