多模 ERC 在驱动人机交互发展方面扮演了重要角色,但面临多模态信息融合中的噪声问题以及类别语义相似但样本标签较少的预测问题。为应对这些问题,本研究采用了深度情感线索提取、特征过滤器设计、多模态提示转换器和混合对比学习等策略,实现了更好的多模态融合表现和对少样本标签的处理能力。实验结果证明,所提出的模型在两个基准数据集上优于现有模型。
Oct, 2023
提出了一种新的基于提示和语言模型调整的情感识别模型 CISPER,通过融入上下文信息、交往者情感以及常识知识等要素,可以更加准确地识别对话中的情感表达,明显超过当前最优解。
Jul, 2022
提议一种新方法,将语境信息和对话结构信息纳入 “pretrained language models”(PLMs)的微调步骤,来代替先前的两步骤方法,以提高情感识别效果。在新方法下开发的 BERT-ERC 模型在四个数据集上比现有方法均有显著提升,并可适用于多种情境。
Jan, 2023
CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架,它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。
Apr, 2022
本文提出了一种基于监督原型对比学习和课程学习的方法,旨在解决情感识别中遇到的不平衡分类问题,其不需要大的批量比对。对应用该方法进行的三项基准测试的结果表明其取得了最佳效果,并且分析实验进一步证明了其有效性。
Oct, 2022
通过对话生成器获取情感知识,辅助对情感对话的识别,实现情感识别的转移学习方法。
Oct, 2019
本文提出了一个将闲聊型情绪识别模型转变为面向任务型的框架,通过改进稀有情绪的增强方法、将对话状态作为辅助特征以及设计多任务学习目标和情绪 - 距离加权损失函数来显著提高模型性能,并在 EmoWOZ 数据集上进行了验证。该模型具有强大的零样本能力,可在更广泛的场景中应用。
Aug, 2023
基于向量连接的跨模态融合情感预测网络,包括多模态特征融合阶段和基于融合特征的情感分类阶段,同时设计了基于情感标签的监督式跨类对比学习模块,实验证实了该方法的有效性,并在 IEMOCAP 和 MELD 数据集上展现出优异的性能。
May, 2024
通过大型语言模型,我们提出了一种名为 InstructERC 的新方法,将情绪识别对话(ERC)任务从辨别性框架改为生成性框架,通过引入简单而有效的检索模板模块以及两个额外的情绪对齐任务,显式地整合多层次的对话监督信息和隐含的对话角色关系和未来情绪趋势,从而显著提高了性能,在三个常用的 ERC 数据集上达到了全面的 SOTA 水平。
Sep, 2023
基于大型语言模型的共识知识框架 CKERC 是一种用于对话中情感识别的方法,通过生成基于历史话语的对话者共识来提供间接线索信息,并通过解决共识知识在情感识别任务中的有效性进行了实证分析。
Mar, 2024