Mar, 2024

微笑和笑声检测的新视角：强度水平的重要性

PDF
TL;DR通过深度学习的多模态微笑和笑声分类系统，我们比较了音频和视觉模型以及融合方法的使用，结果表明融合方法对未知数据的泛化性能更好。此外，我们还对微笑和笑声的强度水平进行了深入分析，发现它们之间的关系可能不像二元一样简单，或者将它们归为单一类别，因此在处理它们时应采取更复杂的方法。我们还通过展示迁移学习可以改善混淆强度水平的检测问题来解决资源有限的问题。
smileslaughsdetection systemsdeep learning-based multimodal classification systemfusion approach
发现论文，激发创造
  • 何时大笑以及如何大笑？一种多模态方法来检测幽默及其强度

    本研究使用多模态数据，通过预录笑声，自动检测《老友记》电视剧中的幽默元素，成功率为 78％，平均误差为 600 毫秒。

    Nov, 2022

  • SMILE: 多模态视频中笑声理解的数据集与语言模型

    人工智能在社交智能方面的挑战仍然存在，本研究提出了解释视频中人们笑声背后原因的新任务，并提出了一个包含视频和语言描述的数据集，通过利用大型语言模型的推理能力，生成了可以解释笑声的合理解释，进一步探究了该方法在其他视频理解任务中的可扩展性。

    Dec, 2023

  • 笑声重要：基于扩散模型的笑脸生成介绍

    本文提出了一种新颖的模型，可以在给定一个静止肖像和一个包含笑声的音频剪辑的情况下生成逼真的笑声序列，该模型使用扩散模型的最新进展，解决了传统面部动画方法的失败案例，针对笑声引入了一种评估指标，获得了所有指标的最先进表现。

    May, 2023

  • 基于迁移学习的野外微笑检测

    本文提出了一种使用迁移学习的微笑检测方法，利用经过训练的深度人脸识别模型，并在不同的输入下 fine-tune 该模型，实现对人脸图像中微笑的检测。实验证明，该方法取得了最先进的性能。

    Jan, 2018

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • 从广义的笑声到个性化的轻笑：发挥数据融合在主观幽默检测中的力量

    我们选择了滑稽任务，因为滑稽任务严重依赖于幽默感，它是基本主观的。我们的实验表明，在训练过程中，通过包含个性化数据，滑稽检测的任务获得了极大的益处。

    Dec, 2023

  • 笑话语：用笑声生成表情豐富的三维说话头部

    本文介绍了一种生成 3D 说话头部并能够表达真实笑声的新方法，通过 2D 视频和 3D 参数数据集的配对，展示了一种基于两阶段训练方案的强大基线模型，该模型在说话头部生成和表达笑声信号方面相比现有方法表现出优越性，并探索了真实化角色控制的潜在应用。

    Nov, 2023

  • 使用卷积神经网络预测观众笑声

    本文研究幽默识别，并使用语言学知识与卷积神经网络方法进行比较。结果显示，基于卷积神经网络的方法可以自动学习基本特征，提高了识别准确性。

    Feb, 2017

  • 我们是幽默的存在：理解和预测视觉幽默

    本研究探讨了抽象场景中触发笑点的内容和不同类型的视觉幽默，设计了计算模型，完成了两种任务：预测场景的趣味性和改变场景的趣味性，通过公开数据集和人类研究展示了模型在定量和定性上的表现良好。

    Dec, 2015

  • 情感 - LLaMA: 多模态情感识别与推理，通过指导调优

    为了解决情感识别中的单模态方法在捕捉真实世界情感表达复杂性方面的局限性，我们提出了 MERR 数据集和 Emotion-LLaMA 模型，通过整合音频、视觉和文本输入，显著提高情感识别能力，并在 evaluations 中取得了优异的成绩。

    Jun, 2024