通过功能性磁共振成像（fMRI）捕获的脑活动，我们介绍了一种从脑活动重构音乐的方法，该方法使用音乐检索或 MusicLM 音乐生成模型，根据 fMRI 数据的嵌入来生成类似于人类主体经历的音乐，包括语义特征如流派、乐器和情绪。我们通过体素编码模型分析，探讨了 MusicLM 的不同组件与脑活动之间的关系，并讨论了哪些脑区表示来自纯文本音乐描述的信息。我们提供了补充材料，包括重构音乐的示例。

Jul, 2023

该研究采用 fMRI 技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

May, 2023

使用潜在扩散模型重构音乐，利用非侵入性脑电图数据进行训练并提出神经嵌入度量标准，同时进行生成曲目的歌曲分类，从而探究使用脑电图数据进行复杂听觉信息重构的可行性。

May, 2024

本文探讨了音乐疗法在神经学和情绪障碍治疗中的应用，并总结了音乐在康复、情感调节和心血管调节中的作用。此外，本文突出了音乐选择个性化和自动化的机会以适应个体需求和任务，从而改善生活质量和减轻压力。

May, 2023

研究通过功能性磁共振成像对大脑的记录，分析了编码模型和解码模型的应用，尤其关注深度学习算法的效果、好处和限制，并总结了神经科学数据集的代表性研究。

Jul, 2023

基于人类听觉系统的层次化处理，从低级声学特征到高级语义理解的转变，我们引入了一种新的粗到细的音频重建方法。利用非侵入式功能性磁共振成像（fMRI）数据，我们的方法模拟了听觉处理的逆向路径。通过初始使用 CLAP 将 fMRI 数据粗略解码到低维语义空间，然后通过语义特征引导进行精细解码到高维 AudioMAE 潜空间。这些精细的神经特征用作通过潜在扩散模型（LDM）进行音频重建的条件。验证在三个公共 fMRI 数据集（Brain2Sound、Brain2Music 和 Brain2Speech）上，我们的粗到细解码方法相对于独立的精细解码方法具有明显优势，并展示了 FD、FAD 和 KL 等度量指标上的最先进性能。此外，在解码过程中使用语义提示时，当语义特征不佳时，我们提高了重建音频的质量。我们模型在各种刺激下的展示性能突出了作为通用脑 - 音频框架的潜力。这项研究对于理解人类听觉系统，在神经解码和音频重建方法方面推动了界限。

May, 2024

本研究探讨了应用循环神经网络识别音乐中传达的情感，旨在通过将音乐调整到适合听众的情感状态，增强音乐推荐系统并支持治疗干预。我们使用 Russell 的情感象限将音乐分类为四个不同的情感区域，并开发了能够准确预测这些类别的模型。我们的方法涉及使用 Librosa 提取全面的音频特征，并应用各种循环神经网络架构，包括标准 RNN，双向 RNN 和 LSTM 网络。初步实验使用包含 900 个已标记情感象限的音频片段数据集进行，我们将神经网络模型的性能与一组基准分类器进行比较，并分析其在捕捉音乐表达中固有的时间动态方面的有效性。结果表明，在较小的数据集中，较简单的 RNN 架构的表现可能与更复杂的模型相当甚至更优。我们还在较大的数据集上应用了以下实验：一是基于我们原始数据集进行的增强，另一是来自其他来源。这项研究不仅增进了我们对音乐情感影响的理解，还展示了神经网络在创建更个性化和情感共鸣的音乐推荐和治疗系统方面的潜力。

May, 2024

通过生物启发的聚合函数和新颖的循环 fMRI 重建机制，提出了一种新的跨被试脑解码方法 MindBridge，能够实现跨被试脑解码，并能通过循环重建的 fMRI 实现新颖的 fMRI 合成和伪数据增强。实验证明 MindBridge 能够竞争性地为多个被试重建图像，并且在有限的新被试数据中达到较高的解码准确性，超过专门针对被试的模型。这种跨被试脑解码的进展为神经科学领域提供了更广泛的应用方向，并表明在现实场景中更高效地利用有限的 fMRI 数据的潜力。

Apr, 2024

通过基于预测编码的神经网络模型研究人类音乐感知，模型经过大量 Classic 音乐和流行旋律训练后，发现预测误差依赖于音符，音高间隔和时间上下文等信息，提示可用预测编码神经网络来表征影响音乐感知的特征和主题。

Oct, 2022

本文研究了如何在音乐欣赏中通过脑电图和音乐特征相结合的多模态融合方法提高情感识别的准确性，结果表明多模态融合方法能够优于单一模态，并提出了未来融合研究的方向。

Nov, 2016