个性化音乐治疗:神经计算建模视角
通过功能性磁共振成像(fMRI)捕获的脑活动,我们介绍了一种从脑活动重构音乐的方法,该方法使用音乐检索或 MusicLM 音乐生成模型,根据 fMRI 数据的嵌入来生成类似于人类主体经历的音乐,包括语义特征如流派、乐器和情绪。我们通过体素编码模型分析,探讨了 MusicLM 的不同组件与脑活动之间的关系,并讨论了哪些脑区表示来自纯文本音乐描述的信息。我们提供了补充材料,包括重构音乐的示例。
Jul, 2023
本研究通过功能性磁共振成像(fMRI)测量的人脑活动,探究音乐是否能够从中解码。利用最新的数据集和预训练的计算模型,研究人员构建了神经数据和音乐刺激的潜在表示之间的映射关系,通过功能和解剖对齐技术解决了 fMRI 数据中低时间分辨率和信噪比的挑战。研究结果表明,通过我们的解码方法,我们能够以最先进的准确度识别音乐,并且建议神经基础的音乐检索系统可实现个性化推荐和治疗应用。
Jun, 2024
音乐对心情有影响,而心情对情绪和认知加工以及决策产生影响。研究发现,了解人们在行动时所听的音乐对于预测其行为是一个重要特征,但迄今为止还没有明确证据表明机器人能够通过考虑人们所听的音乐来改善其与人互动的决策能力。本研究通过实验结果填补了这一空白,要求人类参与者在听背景音乐的同时完成一个任务,该任务涉及驾驶模拟车通过一个交叉口。我们的研究结果明确表明,这种音乐背景信息可以有效地结合到机器人的世界表征中,以更好地预测人们的行为,同时还分析了音乐知识对参与者行为和所学策略的影响。
Aug, 2023
我们介绍了一种使用 AI 工具来操纵歌曲情感内容的新方法。我们的目标是在尽可能保持原有旋律的情况下实现所需情感。为此,我们创建了一个交互式流程,能够将输入的歌曲转换为与之截然相反的情感,并通过 Russel 的 Circumplex 模型对结果进行可视化。我们的方法是对现有音乐情感内容进行语义操作的概念验证,这是一个旨在修改现有音乐情感内容的新领域。我们设计了一个深度学习模型,能够评估我们对关键部分、SoundFont 乐器设备以及其他音乐特征的修改准确性。我们的模型准确度与 4Q Emotion 数据集上的最新技术水平相符。通过进一步改进,这项研究可能为按需定制音乐生成、现有作品的自动混音以及情感进展调整的音乐播放列表做出贡献。
Jun, 2024
通过基于预测编码的神经网络模型研究人类音乐感知,模型经过大量 Classic 音乐和流行旋律训练后,发现预测误差依赖于音符,音高间隔和时间上下文等信息,提示可用预测编码神经网络来表征影响音乐感知的特征和主题。
Oct, 2022
本研究探讨了应用循环神经网络识别音乐中传达的情感,旨在通过将音乐调整到适合听众的情感状态,增强音乐推荐系统并支持治疗干预。我们使用 Russell 的情感象限将音乐分类为四个不同的情感区域,并开发了能够准确预测这些类别的模型。我们的方法涉及使用 Librosa 提取全面的音频特征,并应用各种循环神经网络架构,包括标准 RNN,双向 RNN 和 LSTM 网络。初步实验使用包含 900 个已标记情感象限的音频片段数据集进行,我们将神经网络模型的性能与一组基准分类器进行比较,并分析其在捕捉音乐表达中固有的时间动态方面的有效性。结果表明,在较小的数据集中,较简单的 RNN 架构的表现可能与更复杂的模型相当甚至更优。我们还在较大的数据集上应用了以下实验:一是基于我们原始数据集进行的增强,另一是来自其他来源。这项研究不仅增进了我们对音乐情感影响的理解,还展示了神经网络在创建更个性化和情感共鸣的音乐推荐和治疗系统方面的潜力。
May, 2024
本文介绍了基于深度学习技术的音乐生成方法,包括早期使用人工神经网络的作品和最近的系统,使用现代深度学习技术和控制手段生成具有不同音乐风格的音乐。
Apr, 2020