Jan, 2021

基于 Transformer 的歌词情感识别方法

PDF
TL;DR本研究使用了基于 Transformer 的 XLNet 模型，首次探索结合歌词进行音乐情感识别。实验表明该方法的性能优于现有基于其他特征的方法。本研究为情感音乐播放列表生成和音乐推荐系统的改进等提供了重要的启示。
music emotion recognitionacoustic featureslyricstransformer-based approachxlnet
发现论文，激发创造
  • 音乐多模态：从高级音频特征和歌词预测音乐情感

    本文旨在研究多模态方法是否能在高级歌曲特征和歌词上比单一模态更好地预测歌曲情感得分，结果显示多模态特征在预测愉悦度时比纯音频好，其中 5 种高级歌曲特征对模型性能的贡献最大。

    Feb, 2023

  • 歌词和声学对情绪协作理解的贡献

    本研究通过使用 Spotify 音乐流媒体平台用户播放列表推导出的情绪和近一百万首歌曲的数据集，利用基于 transformers 的最先进的自然语言处理模型，研究了歌词和情绪之间的关联。研究表明，预训练的 transformer-based 语言模型在零 - shot 场景下能够强大地捕捉到歌曲情绪的关联。 此外，通过比较使用歌词和使用声学特征的模型的预测，我们观察到，相对于声学，歌词对情绪的预测具有不同的重要性，从而验证了模型是否捕捉了人类对歌词和声学的情绪相关性的相同信息。

    May, 2022

  • TRBLLmaker -- 基于 Transformer 的歌词内部关系识别器

    本文主要介绍了使用 Transformer 架构的 GPT-2 模型实现歌曲歌词含义的生成方法，并且使用了 Genious API 获取了一些包含元数据及解释说明的歌曲数据集。

    Dec, 2022

  • 基于深度神经网络的音频和歌词的音乐情感检测

    本研究考虑了基于音频信号和歌词的多模态音乐情绪预测任务，复现传统特征工程方法的基础上提出了一种基于深度学习的新模型，证明了新方法相较于传统模型更擅长于唤起用户的注意，而在情感预测上两种方法表现相当。此外，我们还比较了不同的融合方法，在同时优化各单模态模型时取得了较大的提升，并向公众发布部分数据以供参考。

    Sep, 2018

  • 利用 Transformer 的调制融合进行语言 - 声学情感识别

    本文提出了基于 Transformer 和调制的两种极具轻量性能却强大的情感识别和情感分析解决方案，通过组合大量数据集的语言和语音输入来挑战、有时甚至超越这一领域的现有技术，并在 IEMOCAP、MOSI、MOSEI 和 MELD 数据集上评估和验证其性能。

    Oct, 2020

  • 深度音频嵌入在音乐情感识别中的比较与分析

    本文研究深度音频嵌入技术对于音乐情感识别领域的应用，探讨了 L3-Net 和 VGGish 等深度音频嵌入方法在情感识别上的表现，结果表明这些方法可有效提高基线情感识别模型的性能，且不需要人工专家工程。

    Apr, 2021

  • 泰卢固语歌曲歌词情绪的情感价值标注

    通过使用分类技术和 XLMRoBERTa 模型，为印度语歌曲的歌词建立了一个手动注释的数据集，并进行了音乐情感识别模型的测试。

    Mar, 2023

  • 歌曲情感识别：音频特征与人工神经网络性能比较

    通过提取音频特征使用数据驱动模型来识别毫无伴奏的歌曲中所表达的情感。

    Sep, 2022

  • 音乐中歌词和音频的联合情感分析

    音乐中情感或心情可以在不同层面上表达自己。我们评估了基于歌词和音频的情感分析模型，并提出了结合音频和歌词结果的不同方法。我们还研究了音频和歌词情感之间的错误分类和矛盾，并确定了可能的原因。最后，我们解决了这个研究领域的一些基本问题，如主观性高，数据缺乏以及情感分类的不一致性。

    May, 2024

  • 音乐情感操控 -- 基于深度学习的交互视觉方法

    我们介绍了一种使用 AI 工具来操纵歌曲情感内容的新方法。我们的目标是在尽可能保持原有旋律的情况下实现所需情感。为此，我们创建了一个交互式流程，能够将输入的歌曲转换为与之截然相反的情感，并通过 Russel 的 Circumplex 模型对结果进行可视化。我们的方法是对现有音乐情感内容进行语义操作的概念验证，这是一个旨在修改现有音乐情感内容的新领域。我们设计了一个深度学习模型，能够评估我们对关键部分、SoundFont 乐器设备以及其他音乐特征的修改准确性。我们的模型准确度与 4Q Emotion 数据集上的最新技术水平相符。通过进一步改进，这项研究可能为按需定制音乐生成、现有作品的自动混音以及情感进展调整的音乐播放列表做出贡献。

    Jun, 2024