通过生物启发的聚合函数和新颖的循环 fMRI 重建机制，提出了一种新的跨被试脑解码方法 MindBridge，能够实现跨被试脑解码，并能通过循环重建的 fMRI 实现新颖的 fMRI 合成和伪数据增强。实验证明 MindBridge 能够竞争性地为多个被试重建图像，并且在有限的新被试数据中达到较高的解码准确性，超过专门针对被试的模型。这种跨被试脑解码的进展为神经科学领域提供了更广泛的应用方向，并表明在现实场景中更高效地利用有限的 fMRI 数据的潜力。

Apr, 2024

本文提出了一种名为 BraVL 的神经解码通用方法，采用三模态深度生成模型对脑部、视觉和语义特征之间的关系进行建模，以提高对新颖视觉类别的准确性，进而发现通过视觉和语义特征的组合进行解码比单独使用这两者更卓越，进而表明视觉感知可能伴随语言影响以表示视觉刺激的语义。

Oct, 2022

基于脑电图 (EEG) 的情绪识别引起了重要关注，在神经信号处理和情感计算等领域有了多样化的发展。然而，个体的独特脑解剖结构导致不可忽视的自然差异，在主题间情绪识别中存在挑战。为了克服这些限制，我们开发了一个基于预训练模型的多模式情绪识别器，利用脑信号建模和空间 - 时间注意机制来学习通用的脑电图表示，并在不同维度和模态中最大化功能的优势。广泛的公共数据集上的实验证明了情绪识别器在跨主题情绪识别任务中的卓越性能，优于现有方法。此外，该模型从注意力的角度进行了剖析，为神经信号处理领域的情感研究提供了有价值的洞察。

May, 2024

该篇研究论文提出了一种用于自动驾驶的多模态蒙版自动编码器（UniM$^2$AE）模型，通过将图像与激光雷达点云的特征融合，实现了对多模态数据的高效处理，提高了三维物体检测和鸟瞰图分割的效果。

Aug, 2023

介绍了一种突破性的端到端（E2E）框架，用于解码侵入性脑信号，取得了语音神经假肢领域的重大进展。通过充分整合大型语言模型，实现与最先进的级联模型相当的结果，突出了 E2E 框架在语音神经假肢中的巨大潜力，尤其在脑机接口技术和相关数据集的发展进化方面。该项工作不仅展示了将大型语言模型与 E2E 解码相结合以增强语音神经假肢的有效性，还为脑机接口应用的未来研究指明了新的方向，突显了在解码复杂神经信号以实现恢复交流方面，大型语言模型的影响力。

Jun, 2024

我们提出了一种通用脑编码器，能够联合训练来自多个不同主体 / 数据集 / 机器的数据，通过直接计算脑体素嵌入和多级深度图像特征之间的交叉注意力来预测每个脑体素对每个图像的响应，并且利用学习到的体素嵌入作为探索脑功能的强大工具。

Jun, 2024

我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。

Mar, 2024

本研究提出了一种用于电极脑电图（EEG）数据的跨受试研究的两阶段模型合奏架构，该架构由多个特征提取器（第一阶段）和共享分类器（第二阶段）构建，并在两个损失项中端到端训练，证明了我们的方法实现了目标并在两个大型 MI 数据集中优于所有方法，同时使用了更少的可训练参数，解决了多受试 EEG 数据集中的领域漂移问题，为无标定 BCI 系统铺平了道路。

Nov, 2022

当前的基于脑电图 (EEG) 的深度学习模型通常针对特定的数据集和脑 - 计算机交互 (BCI) 应用而设计，限制了模型的规模，从而降低了其感知能力和泛化能力。最近，大型语言模型 (LLMs) 在文本处理方面取得了前所未有的成功，激发了我们探索大型脑电图模型 (LEMs) 的能力。我们希望通过无监督预训练，LEMs 可以突破 EEG 数据集不同任务类型的限制，并获得对 EEG 信号的通用感知能力，然后将模型进行微调以适应不同的下游任务。然而，与文本数据相比，EEG 数据集的容量通常很小且格式变化多样。为了克服这些挑战，我们提出了一种统一的 EEG 基础模型，称为 Large Brain Model (LaBraM)。LaBraM 通过将 EEG 信号分割为 EEG 通道块来实现跨数据集学习。我们使用量化向量神经谱预测来训练一个语义丰富的神经分词器，将连续的原始 EEG 通道块编码为紧凑的神经代码。然后，我们通过预测遮蔽的 EEG 通道块的原始神经代码来预训练神经 Transformer。我们的 LaBraM 模型在大约 20 个数据集中的各种类型的 EEG 信号上进行了约 2,500 小时的预训练，并在多种不同类型的下游任务上进行了验证。对异常检测、事件类型分类、情绪识别和步态预测的实验表明，我们的 LaBraM 在各自领域的性能优于其他 SOTA 方法。

May, 2024

利用功能磁共振成像 (fMRI) 和深度学习方法，我们提出一种名为 BrainMAE 的大脑掩码自编码器，能够从 fMRI 时间序列数据中学习表示，捕捉大脑活动的丰富时间动态并对数据中固有的噪声具有强大的鲁棒性，并在四个不同的下游任务中显著优于传统方法。

Jun, 2024