通过提出一种基于分层Transformer框架的情感识别方法，该方法结合了预训练语言模型和说话人嵌入，能在不同背景环境和不同说话人的情况下有效地捕捉言语的情感信息，实验结果表明该方法在三个对话数据集上分别取得了1.98％、2.83％和3.94％的F1宏平均分数提升。

Feb, 2020

本文研究文本表示模型的偏见问题。尤其是，对于会话语言模型中存在的偏见问题，资源和方法有限，并且缺乏综合评估框架。本文提出了 RedditBias，一种多维偏见评测数据集，并开发了使用其进行评估测试的框架，同时测试了使用四种去偏见方法修复模型偏见后模型在会话生成方面的性能。结果表明，DialoGPT模型存在宗教群体的偏见问题，但某些去偏见技术可以消除此种偏见并保留下游任务的性能。

Jun, 2021

研究发现多模态情感识别系统存在系统性偏见，其中文本在所有模态中的偏见最小且在大多数情况下表现最好，提出多模态方法对于实现偏差和公正性并提高模型性能的价值存在疑问。

May, 2022

本文提出一种多模态情感知识共享框架（UniMSE），用于统一多模态情感分析（MSA）和对话中情绪识别（ERC）任务以 better capture the difference and consistency between sentiments and emotions by performing modality fusion at the syntactic and semantic levels and introducing contrastive learning between modalities and samples. 通过在四个公共测试数据集上的实验，展示了该方法的有效性并与最先进的方法进行了一致的改进。

Nov, 2022

该研究针对大型预训练语言模型，通过对其在情感检测任务中存在的偏向性进行调查，揭示了情感偏差的存在。在分析情感偏斜的语料库分布的基础上，研究对不同偏向进行了广泛的分类和强度评估， 结果表明大型预训练语言模型在情感检测系统中存在明显的情感偏差，即某些情感与特定的性别、种族和宗教存在偏见。

Jan, 2023

我们提出了一种新颖的多模态基于图的Transformer模型（mDT），用于检测在线社交网络中的仇恨言论。与传统的仅处理文本的方法相比，我们的方法围绕整体分析文本和图像对评论进行仇恨言论标记。为了组合文本和图像嵌入而不是单独处理不同的模态，我们利用图Transformer来捕捉整个讨论中的上下文关系，并插入融合层。我们将模型的性能与仅处理文本的基准进行比较，并进行了广泛的消融研究。最后，我们提出了未来的工作，探讨多模态解决方案在在线环境中提供社会价值，并认为捕捉对话的整体观点大大推进了检测反社会行为的努力。

Jul, 2023

在对话情景下，针对MM-ERC（对话中的多模态情感分析）的任务，本研究通过多模态特征解缠和融合，同时模型特征的多模态性和对话背景的建模，以推动任务表现，提出了一种双层解缠机制和特征融合机制，成功地在两个公共数据集上实现了最新的最优性能，并通过进一步的分析证明了这些机制对提升MM-ERC任务的帮助，并具有促进其他多模态对话任务的潜力。

Aug, 2023

通过使用因果关系而非传统的似然方法，基于多模态情感分析（MSA）的多模式对比事实推断情感（MCIS）分析框架能够从具有有害偏见的观察中做出无偏决策，并有效地减轻数据集偏差的问题。

Mar, 2024

通过整合文本、音频和视觉模态的专门情感编码器，我们提出了一种新颖的多模态情感识别和多模态情感因果抽取（MER-MCE）框架，与其他顶级团队相比，我们的方法利用模态特定特征来增强情感理解和因果推断，并进行了实验性评估来展示其优势，我们的成绩在加权F1得分中排名第三，仅相差0.0339分以及第一名队伍，相差0.0025分以及第二名队伍。

Mar, 2024

本研究针对多模态情感识别中的若干关键问题，提出了GraphSmile方法，以更好地捕捉对话中的情感线索。GraphSmile通过图结构层层整合情感依赖关系，并明确区分言语之间的情感动态，显著提升了情感和情绪模式的识别效果，推动了多模态情感分析的统一模型进展。

Jul, 2024