使用 CoCa 模型，本文提出了一种简单而有效的生成框架 BrainChat，旨在从脑活动中快速实现语义信息解码任务，包括 fMRI 问题回答和 fMRI 字幕生成，通过编码稀疏的 fMRI 数据，利用对比损失将 fMRI、图像和文本嵌入对齐，然后通过交叉注意层将 fMRI 嵌入映射到生成的脑解码器，以最小化字幕损失的方式以回归的方式生成有关 fMRI 的文本内容。成功地超过了现有状态 - of-the-art 方法在 fMRI 字幕生成任务中，并首次实现了 fMRI 问题回答。此外，BrainChat 在没有图像数据的情况下仍可以实现高性能，更适用于现实世界的数据有限场景。

Jun, 2024

脑机接口（BCIs）提供了从大脑到外部设备的直接路径，具有辅助和康复技术的巨大潜力。通过引导用户生成朝向解码器估计的最优分布的脑信号，提出了一种人机联合学习框架来加速内源性 BCIs 中的学习过程。通过 18 名健康受试者的在线和伪在线 BCI 实验，证明了所提出的联合学习过程在学习效率和效果上的优势。

Aug, 2023

使用 Transformer 语言模型进行字符预测可以很大程度上加快 BCI 打字速度，本文针对几种基于 wordpiece 级别的 Transformer 语言模型进行了评估，并发现 GPT-2 可以在干净的文本上取得最佳效果，同时分析了字符位置和上下文长度对打字速度的影响。

May, 2023

本研究证明对 BERT 模型进行微调，可提高其对人们阅读文本时脑活动的预测能力，模型学习到的语言与脑活动之间的关系可以跨越多个参与者，同时不影响模型在自然语言处理任务方面的表现，这对于研究大脑中的语言理解具有显著意义。

Oct, 2019

采用先前任务学习得到的先验知识，我们提出了一种串联的前两名 Thompson 抽样算法 (Sequential Top-two Thompson Sampling, STTS)，将广义多臂老虎机中的最佳臂序列问题视为一系列任务。这种算法取得了实质性的实验性改进。

May, 2023

通过脑活动捕获的功能性磁共振成像解译人类视觉体验是神经科学研究领域的前沿挑战之一。本文介绍了 MindSemantix，这是一种新颖的多模态框架，使语言模型能够理解脑活动中唤起的语义内容，并形成无缝连接的端到端脑 - 语言模型。

May, 2024

本文提出了用户驱动的智能界面的新概念，它应用于各种领域中，如残疾研究，教育，家庭护理，医疗保健等，通过脑机交互等方式，利用多模态增强现实技术，以及通过机器学习等方法，分类实时神经物理反应的即时反馈，以克服当前可用用户界面的局限性，特别是针对功能残疾人群。即使在当前状态下，结合增强现实和脑机交互的接口也能提供高度适应性和个性化的服务。

Apr, 2017

通过引入脑 - 人工智能接口（BAI）作为一种新的脑 - 计算机接口（BCI）类别，我们可以让患有认知障碍的个体也能受益于 BCI 技术，BAI 使用人工智能以取代传统 BCI 所依赖的完整认知功能，通过提供高层次意图来完成复杂任务，同时由预先训练的 AI 代理处理底层细节。本研究介绍了 BAI 的整体概念，并通过基于 EEG 的对话 BAI 展示了其潜力，特别是在一个模拟电话对话实验中，该对话 BAI 实现了复杂的交流，无需生成语言。因此，我们的工作首次展示了语音神经假肢在现实场景中使用非侵入式技术实现流畅交流的能力。

Feb, 2024

本文系统探讨了图像转换器和多模态转换器在大脑编码方面的有效性，发现多模态转换器 VisualBERT 在编码上远优于之前提出的单模态 CNN、图像转换器以及其他先前提出的多模态模型，这表明视觉语言模型的优越性，产生了人们是否在被动地查看图像时，视觉区域的响应是否受到语言处理的影响的问题。

Apr, 2022

该研究采用 fMRI 技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

May, 2023