本文主要介绍我们针对 2022 年 MuSe 多模情感挑战赛的 MuSe-Humor 子挑战所做的研究。我们首先使用变压器模块和 BiLSTM 模块构建一个判别模型，然后提出了一种混合融合策略来提高模型的性能，该模型在测试集上的 AUC 为 0.8972。

Sep, 2022

MuSe 2022 是致力于多模态情感分析和情感识别的国际竞赛，旨在通过使用三个数据集解决情感计算的三个现代相关问题，主要针对的是音频视觉情感识别、健康信息学和符号情感分析等领域。该基线论文通过使用循环神经网络提出了具有竞争力的基准结果，特别是在 MuSe-Stress 测试中，其可预测连续的压力情感值，其中我们报告了一个曲线下面积（AUC）为 0.8480 的结果，且在 MuSe-Reaction 和 MuSe-Stress 中实现了 0.2801 和 0.4931 CCC 和 0.4761 的相关性系数。

Jun, 2022

MuSe 2024 是一个多模态情感分析挑战，包括社交感知和跨文化幽默检测两个子挑战。它旨在促进多个研究领域的专家之间的合作交流，提高情感分析和情感计算在多模态中的理解和应用。本文介绍了每个子挑战及其相应数据集的细节，从每个数据模态提取特征，并讨论了各子挑战的基线表现。

Jun, 2024

使用 GPT-3.5 过滤与嘲笑相关的语言与视觉元素，通过时间戳和文字解释为每个视频注释，以提高大型语言模型对视频幽默的理解。

Oct, 2023

本文介绍了一种称为 UR-FUNNY 的多模态数据集，该数据集开辟了解析表达幽默的多模态语言的研究领域，从而为自然语言处理社区提供了多模态幽默检测的框架。

Apr, 2019

本文创建了一个通过标注观众的笑声来注释训练数据的幽默系数得分的新型评分机制的多模态幽默注释数据集，用于训练一个给予音频及相应文本一个五分量表中的 “有趣程度” 分数的模型，并比较了各种神经语言模型的幽默评分任务，其 QWK 准确度达到了 0.813。

Oct, 2021

我们提供了一个独特的多模态偏好数据集，用于创意任务，在过去的八年中通过众包整理了超过 250 万个标注为《纽约客》周刊漫画字幕比赛的超过 2.2 亿个人类评分。通过结合 GPT4 和人类判断，建立了基于排名的评估策略，我们对模型生成的字幕质量提出了新的评估标准。实验证明了当前的 Fine-Tuning 方法在创意任务中的局限性，并且我们展示了即使是 GPT4 和 Claude 这样的最先进模型在生成幽默字幕方面也不及顶级人类参赛者。经过这项大规模的数据收集工作，我们将整个偏好数据集释放给研究界，促进 AI 幽默生成和评估的进一步发展。

Jun, 2024

通过编辑文本，我们研究了大型语言模型（LLMs）是否能够生成用于幽默检测的合成数据。我们对现有的人类数据集进行了基准测试，并展示了当前的 LLMs 在判断幽默性和幽默检测的下游任务中，能够令人印象深刻地去除笑话。我们还将我们的方法扩展到了一个混合编码的英文 - 印地语幽默数据集，发现 GPT-4 的合成数据得到了双语注释者的高评价，并为幽默分类器提供了具有挑战性的对抗性例子。

Feb, 2024

我们选择了滑稽任务，因为滑稽任务严重依赖于幽默感，它是基本主观的。我们的实验表明，在训练过程中，通过包含个性化数据，滑稽检测的任务获得了极大的益处。

Dec, 2023

本研究使用多模态数据，通过预录笑声，自动检测《老友记》电视剧中的幽默元素，成功率为 78％，平均误差为 600 毫秒。

Nov, 2022