本文介绍了一种称为 UR-FUNNY 的多模态数据集，该数据集开辟了解析表达幽默的多模态语言的研究领域，从而为自然语言处理社区提供了多模态幽默检测的框架。

Apr, 2019

通过跨和自注意力模型，FunnyNet-W 使用视频中的视觉、音频和文本数据，预测出有趣的时刻，同时提出了一种无监督方法来获取训练标签。实验结果表明，FunnyNet-W 成功地利用了视觉、听觉和文本线索来识别有趣的时刻，并在各个数据集上创造了有趣时刻检测的新的最佳成果。

Jan, 2024

通过深度学习的多模态微笑和笑声分类系统，我们比较了音频和视觉模型以及融合方法的使用，结果表明融合方法对未知数据的泛化性能更好。此外，我们还对微笑和笑声的强度水平进行了深入分析，发现它们之间的关系可能不像二元一样简单，或者将它们归为单一类别，因此在处理它们时应采取更复杂的方法。我们还通过展示迁移学习可以改善混淆强度水平的检测问题来解决资源有限的问题。

Mar, 2024

本文介绍了一种新的 Passau-SFCH 数据集，用于幽默和其情感和方向的自动分析，研究结果表明，对于幽默和其情感的自动分析，面部表情最有潜力，而文本特征最适合模拟幽默方向。

Sep, 2022

本文创建了一个通过标注观众的笑声来注释训练数据的幽默系数得分的新型评分机制的多模态幽默注释数据集，用于训练一个给予音频及相应文本一个五分量表中的 “有趣程度” 分数的模型，并比较了各种神经语言模型的幽默评分任务，其 QWK 准确度达到了 0.813。

Oct, 2021

本文研究幽默识别，并使用语言学知识与卷积神经网络方法进行比较。结果显示，基于卷积神经网络的方法可以自动学习基本特征，提高了识别准确性。

Feb, 2017

使用 GPT-3.5 过滤与嘲笑相关的语言与视觉元素，通过时间戳和文字解释为每个视频注释，以提高大型语言模型对视频幽默的理解。

Oct, 2023

人工智能在社交智能方面的挑战仍然存在，本研究提出了解释视频中人们笑声背后原因的新任务，并提出了一个包含视频和语言描述的数据集，通过利用大型语言模型的推理能力，生成了可以解释笑声的合理解释，进一步探究了该方法在其他视频理解任务中的可扩展性。

Dec, 2023

本文主要介绍我们针对 2022 年 MuSe 多模情感挑战赛的 MuSe-Humor 子挑战所做的研究。我们首先使用变压器模块和 BiLSTM 模块构建一个判别模型，然后提出了一种混合融合策略来提高模型的性能，该模型在测试集上的 AUC 为 0.8972。

Sep, 2022

本文提出了一个基于多模态线索的新的讽刺数据集 (MUStARD)，并且证明了将多模态信息应用于讽刺检测可以将相对误差率降低高达 12.9%。

Jun, 2019