Jun, 2024

通过物理知识引导的多任务转换器的嵌入网络理解听觉诱发的脑信号

PDF
TL;DR通过物理启发嵌入网络和深度学习技术，我们提出了一种创新的多任务学习模型 PEMT-Net，用于增强多任务听觉信号解码性能，从而超越现有方法并为理解大脑处理复杂听觉信息的机制提供新的见解。
brain-computer interactioncognitive neuroscienceauditory signalsfunctional magnetic resonance imagingmulti-task learning
发现论文，激发创造
  • fMRI-PTE：一种用于多被试脑活动解码的大规模 fMRI 预训练 Transformer 编码器

    脑活动解码的研究一直以来都是一个持久的追求，具有脑机接口、医学诊断和虚拟现实等潜在应用。我们提出了一种创新的 fMRI 预训练自编码器方法（fMRI-PTE），专注于解决因个体脑差异导致的 fMRI 数据维度变化的挑战。我们将 fMRI 信号转化为统一的二维表示，确保维度一致并保留独特的脑活动模式。我们引入了一种新颖的学习策略，针对预训练二维 fMRI 图像，提高重构品质。fMRI-PTE 通过与图像生成器的适应性，能够生成良好表示的 fMRI 特征，便于各种下游任务，包括同一受试者和跨受试者的脑活动解码。我们的贡献包括介绍 fMRI-PTE、创新的数据转化、高效的训练、新颖的学习策略以及我们方法的普适性。广泛的实验证实和支持了我们的观点，为该领域深入研究奠定了有希望的基础。

    Nov, 2023

  • 基于顺序迁移学习的 fMRI 数据解码听到和想象中的音色

    使用顺序迁移学习框架的转换器，可以有效地解码音乐音色，形成一种比现有方法更优的 fMRI 数据序列转换框架，用于预测不同 fMRI 数据序列是否记录了相同的音频音色。

    May, 2023

  • 强化解释性声音分类的焦点调制网络

    通过使用最近提出的无注意力聚焦调制网络（FocalNets），这篇论文在音频领域首次将 FocalNets 应用于环境声音分类任务，评估了其可解释性在流行的 ESC-50 数据集上的性能。与类似规模的视觉变换器相比，我们的方法在准确性和可解释性方面更加出色，并且在音频领域中针对事后解释的方法 PIQ 具有竞争力。

    Feb, 2024

  • 使用 fMRI 提示的 LLM 进行开放式词汇听觉神经解码

    使用大脑表示作为提示进一步驱动大规模语言模型从脑信号中解码听觉神经信息是可行且有效的。

    May, 2024

  • BrainBERT：面向颅内记录的自监督表示学习

    我们创造了一种可重复使用的 Transformer-BrainBERT，将现代表示学习方法引入神经科学，通过无监督的预训练使其能够对更复杂的概念进行分类，从而实现更高的准确性和更少的数据。

    Feb, 2023

  • 基于 MRI 标记和非负矩阵分解的语音音频合成通过可塑变压器

    我们提出了一种基于深度学习的框架，通过加权映射生成语音音频波形，从功能单元推导到音频合成的实验结果表明其优于传统的卷积和 Transformer 模型。

    Sep, 2023

  • 基于多模态 Transformer 的大脑编码模型可跨越语言和视觉进行转移

    本研究旨在探究多模态变形器提供的洞察能力，通过对多模态编码模型进行训练，发现多模态变形器学习了语言和视觉中概念表示的更多对齐性，并且可以有效预测大脑对于故事和电影的 fMRI 反应，从而揭示了多模态处理的潜力和相关的概念表示模型的比较。

    May, 2023

  • MEG 基础 GPT 模型

    使用深度学习技术，以大量未标记数据预训练模型，并在特定任务上进行微调，对大脑信号进行建模比常规线性自回归模型具有更好的建模能力，其中 GPT2 模型在时间、空间和频谱特征方面更好地重现了实际数据和任务数据的诱发活动。

    Apr, 2024

  • 一种辅助引入语义信息的多模态视觉编码模型

    基于刺激图像和相关文本信息的多模态视觉信息编码网络模型，将口头语义信息作为新信息嵌入视觉编码模型，通过 Transformer 网络对图像和文本特征信息进行对齐，构建多模态特征空间。实验结果表明该模型的性能优于先前的模型，并且消融实验证明我们提出的模型更好地模拟了大脑的视觉信息处理。

    Aug, 2023

  • 利用正弦表示网络预测 EEG 中的 fMRI 信号

    通过实施一个正弦表示网络 (SIREN) 学习来自多通道脑电图 (EEG) 中的频率信息，并将其用作后续的编码器 - 解码器，以有效地重构特定脑区的功能磁共振成像 (fMRI) 信号，我们提出了一种能够直接从多通道 EEG 中预测 fMRI 信号的新型架构。我们在一个包含 8 个受试者的同时进行 EEG-fMRI 数据集上评估了我们的模型，并研究了其预测皮质下 fMRI 信号的潜力。结果表明，我们的模型优于最近的一种先进模型，并显示出利用深度神经网络中的周期激活函数来建模功能性神经影像数据的潜力。

    Nov, 2023