本研究通过功能性磁共振成像（fMRI）测量的人脑活动，探究音乐是否能够从中解码。利用最新的数据集和预训练的计算模型，研究人员构建了神经数据和音乐刺激的潜在表示之间的映射关系，通过功能和解剖对齐技术解决了 fMRI 数据中低时间分辨率和信噪比的挑战。研究结果表明，通过我们的解码方法，我们能够以最先进的准确度识别音乐，并且建议神经基础的音乐检索系统可实现个性化推荐和治疗应用。

Jun, 2024

本文探讨了音乐疗法在神经学和情绪障碍治疗中的应用，并总结了音乐在康复、情感调节和心血管调节中的作用。此外，本文突出了音乐选择个性化和自动化的机会以适应个体需求和任务，从而改善生活质量和减轻压力。

May, 2023

本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

Sep, 2022

通过引入新颖的基于 Transformer 的 Brainformer 方法，分析人类感知系统中 fMRI 模式，并将其作为监督机制应用于机器视觉模型，通过实验证明，在各种图像识别任务中，利用 fMRI 信息可以实现与当前最先进方法相比的潜在结果。

Nov, 2023

该研究采用 fMRI 技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

May, 2023

基于人类听觉系统的层次化处理，从低级声学特征到高级语义理解的转变，我们引入了一种新的粗到细的音频重建方法。利用非侵入式功能性磁共振成像（fMRI）数据，我们的方法模拟了听觉处理的逆向路径。通过初始使用 CLAP 将 fMRI 数据粗略解码到低维语义空间，然后通过语义特征引导进行精细解码到高维 AudioMAE 潜空间。这些精细的神经特征用作通过潜在扩散模型（LDM）进行音频重建的条件。验证在三个公共 fMRI 数据集（Brain2Sound、Brain2Music 和 Brain2Speech）上，我们的粗到细解码方法相对于独立的精细解码方法具有明显优势，并展示了 FD、FAD 和 KL 等度量指标上的最先进性能。此外，在解码过程中使用语义提示时，当语义特征不佳时，我们提高了重建音频的质量。我们模型在各种刺激下的展示性能突出了作为通用脑 - 音频框架的潜力。这项研究对于理解人类听觉系统，在神经解码和音频重建方法方面推动了界限。

May, 2024

使用潜在扩散模型重构音乐，利用非侵入性脑电图数据进行训练并提出神经嵌入度量标准，同时进行生成曲目的歌曲分类，从而探究使用脑电图数据进行复杂听觉信息重构的可行性。

May, 2024

通过 fMRI 数据和修改的 fMRI-to-image 模型，我们首次在记忆和纯想象两种模式下，从视觉想象中重建图像的可行性，从而迈出了直接重建视觉想象的技术的重要一步。

Apr, 2024

我们使用 Google 的 MusicVAE，一个具有 512 维潜在空间的变分自动编码器来表示几小节的音乐，并根据描述音乐的相关性组织潜在维度。我们发现，平均而言，大多数潜在神经元在输入真实音乐曲目时保持沉默：我们称这些为 “噪声” 神经元。剩下的几十个激活的潜在神经元被称为 “音乐” 神经元。我们探究哪些神经元携带音乐信息以及它们编码的音乐信息种类，即是否可以识别为音高、节奏或旋律。我们发现大部分关于音高和节奏的信息都编码在最开始的几个音乐神经元中：神经网络因此构建了一些非线性编码许多用于描述音高和节奏的人工定义变量的变量。旋律的概念似乎仅在较长的音乐序列中出现独立的神经元中。

Jul, 2023

通过直接比较从脑活动中映射的预测文本嵌入与实际文本重建，我们的方法在文本重建方面明显胜过当前最先进模型，实验证明更精确地将脑活动映射到文本嵌入将获得更好的重建结果，这为未来的工作简化了从脑活动中重建语言的任务，强调了改进脑到文本嵌入映射技术的重要性。

Mar, 2024