Jul, 2024

多模态对话中情感和意图的联合理解:一个基准数据集

TL;DR描述了一种旨在解码多模态对话历史中的语义信息,同时推断出当前话语的情感和意图的技术,即多模态对话中情感和意图联合理解 (MC-EIU),并提出了 MC-EIU 数据集,此数据集包括 7 个情感类别、9 个意图类别、3 种模态 (文本、声学和视觉内容) 以及英文和普通话两种语言。 与此同时,还开发了 Emotion and Intent Interaction (EI$^2$) 网络作为参考系统,通过模拟多模态对话中情感和意图之间的深层关联来实现。实验证明了所提出的 EI$^2$ 方法在 MC-EIU 数据集上的有效性。