本文旨在研究多模态方法是否能在高级歌曲特征和歌词上比单一模态更好地预测歌曲情感得分，结果显示多模态特征在预测愉悦度时比纯音频好，其中 5 种高级歌曲特征对模型性能的贡献最大。

Feb, 2023

本文研究深度音频嵌入技术对于音乐情感识别领域的应用，探讨了 L3-Net 和 VGGish 等深度音频嵌入方法在情感识别上的表现，结果表明这些方法可有效提高基线情感识别模型的性能，且不需要人工专家工程。

Apr, 2021

通过提取音频特征使用数据驱动模型来识别毫无伴奏的歌曲中所表达的情感。

Sep, 2022

我们介绍了一种使用 AI 工具来操纵歌曲情感内容的新方法。我们的目标是在尽可能保持原有旋律的情况下实现所需情感。为此，我们创建了一个交互式流程，能够将输入的歌曲转换为与之截然相反的情感，并通过 Russel 的 Circumplex 模型对结果进行可视化。我们的方法是对现有音乐情感内容进行语义操作的概念验证，这是一个旨在修改现有音乐情感内容的新领域。我们设计了一个深度学习模型，能够评估我们对关键部分、SoundFont 乐器设备以及其他音乐特征的修改准确性。我们的模型准确度与 4Q Emotion 数据集上的最新技术水平相符。通过进一步改进，这项研究可能为按需定制音乐生成、现有作品的自动混音以及情感进展调整的音乐播放列表做出贡献。

Jun, 2024

音乐中情感或心情可以在不同层面上表达自己。我们评估了基于歌词和音频的情感分析模型，并提出了结合音频和歌词结果的不同方法。我们还研究了音频和歌词情感之间的错误分类和矛盾，并确定了可能的原因。最后，我们解决了这个研究领域的一些基本问题，如主观性高，数据缺乏以及情感分类的不一致性。

May, 2024

本文研究使用深度神经网络模型准确预测电影观众观看电影时所体验到的人类情感，其中包括来自 RGB 视频帧的视觉提示，涵盖声音、语音和音乐的听觉组件，以及包含演员对话的语言元素。

Jun, 2023

提出了一种解决音频和图像情感对应的问题的深度神经网络模型，通过学习将情感数据从不同模态的输入投影到共同的表示空间中，通过二元分类预测情感对应（真或假）。

Mar, 2019

本研究通过使用 Spotify 音乐流媒体平台用户播放列表推导出的情绪和近一百万首歌曲的数据集，利用基于 transformers 的最先进的自然语言处理模型，研究了歌词和情绪之间的关联。研究表明，预训练的 transformer-based 语言模型在零 - shot 场景下能够强大地捕捉到歌曲情绪的关联。 此外，通过比较使用歌词和使用声学特征的模型的预测，我们观察到，相对于声学，歌词对情绪的预测具有不同的重要性，从而验证了模型是否捕捉了人类对歌词和声学的情绪相关性的相同信息。

May, 2022

本研究旨在开发和分析多模态模型，预测观众观看电影片段时的情感反应。研究发现，通过提取 RGB 帧和光流的特征以及音频中的各种低级描述符，采用深度神经网络模型来进行情感预测更为精确。其中，光流特征比 RGB 视频更加信息含量丰富，且音频特征的预测精度高于视频特征。

Sep, 2019

本研究使用了基于 Transformer 的 XLNet 模型，首次探索结合歌词进行音乐情感识别。实验表明该方法的性能优于现有基于其他特征的方法。本研究为情感音乐播放列表生成和音乐推荐系统的改进等提供了重要的启示。

Jan, 2021