Dec, 2023

SMILE: 多模态视频中笑声理解的数据集与语言模型

PDF
TL;DR人工智能在社交智能方面的挑战仍然存在，本研究提出了解释视频中人们笑声背后原因的新任务，并提出了一个包含视频和语言描述的数据集，通过利用大型语言模型的推理能力，生成了可以解释笑声的合理解释，进一步探究了该方法在其他视频理解任务中的可扩展性。
artificial intelligencesocial intelligencelaughtervideo understandingdataset
发现论文，激发创造
  • 语言模型能在 YouTube 短视频中大笑吗？

    使用 GPT-3.5 过滤与嘲笑相关的语言与视觉元素，通过时间戳和文字解释为每个视频注释，以提高大型语言模型对视频幽默的理解。

    Oct, 2023

  • 笑话语：用笑声生成表情豐富的三维说话头部

    本文介绍了一种生成 3D 说话头部并能够表达真实笑声的新方法，通过 2D 视频和 3D 参数数据集的配对，展示了一种基于两阶段训练方案的强大基线模型，该模型在说话头部生成和表达笑声信号方面相比现有方法表现出优越性，并探索了真实化角色控制的潜在应用。

    Nov, 2023

  • 笑声重要：基于扩散模型的笑脸生成介绍

    本文提出了一种新颖的模型，可以在给定一个静止肖像和一个包含笑声的音频剪辑的情况下生成逼真的笑声序列，该模型使用扩散模型的最新进展，解决了传统面部动画方法的失败案例，针对笑声引入了一种评估指标，获得了所有指标的最先进表现。

    May, 2023

  • SMILE：社交媒体语言理解的评估和领域自适应

    本文探讨了基于 Transformer 的语言模型对社交媒体语言的理解能力，提出了适用于四个社交媒体平台的 SMILE 评估基准，并展示使用混合社交媒体语言和传统语言进行分词和预训练的 LM 性能优于其他同规模的语言模型 4.2 分。

    Jun, 2023

  • 微笑和笑声检测的新视角：强度水平的重要性

    通过深度学习的多模态微笑和笑声分类系统，我们比较了音频和视觉模型以及融合方法的使用，结果表明融合方法对未知数据的泛化性能更好。此外，我们还对微笑和笑声的强度水平进行了深入分析，发现它们之间的关系可能不像二元一样简单，或者将它们归为单一类别，因此在处理它们时应采取更复杂的方法。我们还通过展示迁移学习可以改善混淆强度水平的检测问题来解决资源有限的问题。

    Mar, 2024

  • 自发幽默的多模态预测：一个新颖的数据集和初步结果

    本文介绍了一种新的 Passau-SFCH 数据集，用于幽默和其情感和方向的自动分析，研究结果表明，对于幽默和其情感的自动分析，面部表情最有潜力，而文本特征最适合模拟幽默方向。

    Sep, 2022

  • UR-FUNNY：一个用于理解幽默的多模态语言数据集

    本文介绍了一种称为 UR-FUNNY 的多模态数据集，该数据集开辟了解析表达幽默的多模态语言的研究领域，从而为自然语言处理社区提供了多模态幽默检测的框架。

    Apr, 2019

  • 何时大笑以及如何大笑？一种多模态方法来检测幽默及其强度

    本研究使用多模态数据，通过预录笑声，自动检测《老友记》电视剧中的幽默元素，成功率为 78％，平均误差为 600 毫秒。

    Nov, 2022

  • 多媒体社交分析的数据集和基准测试

    该论文介绍了一个通过从社交媒体网站获取包含多个成对图像 / 视频和文本的帖子以及包含图像 / 视频和 / 或文本的评论树来实现多模态学习的新的可公开获取的数据集，并提供了基线性能分析，适用于图像字幕、情感分析和预训练模型等多项任务。

    Jun, 2020

  • 认真对待幽默：使用无趣的大型语言模型构建幽默数据集

    通过编辑文本，我们研究了大型语言模型（LLMs）是否能够生成用于幽默检测的合成数据。我们对现有的人类数据集进行了基准测试，并展示了当前的 LLMs 在判断幽默性和幽默检测的下游任务中，能够令人印象深刻地去除笑话。我们还将我们的方法扩展到了一个混合编码的英文 - 印地语幽默数据集，发现 GPT-4 的合成数据得到了双语注释者的高评价，并为幽默分类器提供了具有挑战性的对抗性例子。

    Feb, 2024