Jul, 2024
多模态对话中情感和意图的联合理解:一个基准数据集
Emotion and Intent Joint Understanding in Multimodal Conversation: A Benchmarking Dataset
Rui Liu, Haolin Zuo, Zheng Lian, Xiaofen Xing, Björn W. Schuller...
TL;DR描述了一种旨在解码多模态对话历史中的语义信息,同时推断出当前话语的情感和意图的技术,即多模态对话中情感和意图联合理解 (MC-EIU),并提出了 MC-EIU 数据集,此数据集包括 7 个情感类别、9 个意图类别、3 种模态 (文本、声学和视觉内容) 以及英文和普通话两种语言。
与此同时,还开发了 Emotion and Intent Interaction (EI$^2$) 网络作为参考系统,通过模拟多模态对话中情感和意图之间的深层关联来实现。实验证明了所提出的 EI$^2$ 方法在 MC-EIU 数据集上的有效性。