我们利用预训练模型，探索机器学习架构来预测大规模预训练模型生成的图像对大脑的响应，通过使用单个连接的线性层加上由 CLIP 生成的图像嵌入作为输入，在 Algonauts 挑战赛上取得了相对较好的结果，但未能建立与数据的强有力关联。

Sep, 2023

该研究报告介绍了团队 “BlobGPT” 在 Algonauts 2023 比赛中的提交结果，他们提出了一种由预训练主干模型与多学科线性编码头组成的模型，详细阐述了多个组件及相关实验结果。

Aug, 2023

使用多个小型模型聚合知识并保留不同功能区域之间的差异，利用大量公开数据和生物知识构建了最全面的脑部编码模型，该模型可用于替代常用的视觉模型，并应用于脑解码。

Jul, 2023

我们提出了一种通用脑编码器，能够联合训练来自多个不同主体 / 数据集 / 机器的数据，通过直接计算脑体素嵌入和多级深度图像特征之间的交叉注意力来预测每个脑体素对每个图像的响应，并且利用学习到的体素嵌入作为探索脑功能的强大工具。

Jun, 2024

通过使用具有视觉和上下文输入的多模态模型 VISION，我们成功预测了人类大脑对自然图像的功能性磁共振成像（fMRI）扫描反应，其准确度超过了现有技术性能 45％，并揭示了不同视觉区域的表征偏差，生成了可实验检验的假设，并形成了可解释的指标将这些假设与皮层功能相关联，为设计和实现视觉皮层功能分析带来了降低成本和时间负担的可能性。通过计算模型的进化，我们的工作表明可能揭示出对视觉皮层的基本理解，并提供可靠的脑机接口的可行方法。

Sep, 2023

通过对非侵入式脑电图记录进行对齐，我们提出了 “Re (presentational) Al (ignment) Net”，这是一个与人类大脑活动对齐的视觉模型，其与人类大脑表征更加相似，从而在人工智能领域取得了突破。

Jan, 2024

我们提出了 UMBRAE，一种统一的多模式大脑信号解码方法，通过引入高效的通用大脑编码器和基于多模式大型语言模型从神经信号中提取实例级概念和空间细节，并引入跨受试者训练策略以在多个受试者上进行训练，支持弱监督适应新受试者，这种方法不仅在新任务中取得了优越的结果，还在已建立的任务中超过了其他方法，并构建了 BrainHub 综合大脑理解基准来评估我们的方法。

Apr, 2024

提出了一个学习机器人操纵任务高级认知能力的新框架，使用语言模型构建 AlphaBlock 数据集，自动采集综合高级多步文本计划和配对观察序列，使用多模式的闭环计划模型自回归生成计划，从而实现对机器人的精细操作。实验结果表明，该方法显著提高了成功率。

May, 2023

我们开发了一种工具，通过将大型预训练视觉模型映射到大脑上，从而揭示其隐藏在内部的信息。我们的创新提出了一种令人惊讶的使用大脑编码的方法：预测大脑在图像刺激下的功能磁共振成像测量。我们报告了两个发现：首先，对于空间、层级、尺度和通道的大脑和深度网络特征之间的显式映射至关重要。这种映射方法，FactorTopy，可应用于任何深度网络；通过它，我们可以将网络映射到大脑上（真实可视化）。其次，我们的可视化结果显示了不同的训练方法的重要性：它们导致了层次结构和缩放行为上显著的差异，随着更多的数据或网络容量增加而增长。它还提供了微调的见解：在适应小数据集时，预训练模型如何改变。我们的方法很实用：只需 3000 个图像就足以学习网络到大脑的映射。

Dec, 2023

通过将 10 种常用语言模型进行集成，我们的研究在所有感兴趣区域上比当前基准结果提高了平均 10% 的性能。

Oct, 2023