本文系统探讨了图像转换器和多模态转换器在大脑编码方面的有效性，发现多模态转换器 VisualBERT 在编码上远优于之前提出的单模态 CNN、图像转换器以及其他先前提出的多模态模型，这表明视觉语言模型的优越性，产生了人们是否在被动地查看图像时，视觉区域的响应是否受到语言处理的影响的问题。

Apr, 2022

通过大规模的功能性磁共振成像 (fMRI) 数据集，本研究提出并使用了一种新的模态不可知解码器，能够将大范围的视觉、语言和多模态模型的脑信号映射到刺激表示上，发现模态不可知解码器表现与模态特定解码器相当甚至更好，并且单模态解码器表现与多模态解码器相当，同时高级的视觉区域可以很好地解码文本和图像刺激。

Mar, 2024

本文提出了一种跨模态的大脑解码模型 BrainCLIP，通过将图像和文本监督在语义空间中相结合，将 fMRI 模式转换为 CLIP 嵌入空间，实现了自然图像的高级特征还原和语义解码。

Feb, 2023

基于刺激图像和相关文本信息的多模态视觉信息编码网络模型，将口头语义信息作为新信息嵌入视觉编码模型，通过 Transformer 网络对图像和文本特征信息进行对齐，构建多模态特征空间。实验结果表明该模型的性能优于先前的模型，并且消融实验证明我们提出的模型更好地模拟了大脑的视觉信息处理。

Aug, 2023

本文提出了一种新方法来将视觉信息作为协助信号用于 NLP 任务，使用 Transformer 编码器和卷积神经网络来对文本和图像进行编码，通过注意力层将两种模态的表征进行融合，实验结果表明，该方法在不同的任务和语言中都具有很好的效果。

Jan, 2023

我们通过利用脑科学证据来探索预训练的多模态视频变换器模型，发现视觉增强了与语言处理中的遮蔽预测性能，支持模型中交叉模态表示可以受益于个体模态，但未发现与大脑相关的信息，我们展示使用一个需要视觉 - 语言推理的任务，可以改善预训练联合表示的脑对齐效果，这些结果呈现了多模态变换器在部分与大脑相关的方式上集成视觉和语言的能力，但也表明改善这些模型的脑对齐可能需要新的方法。

Nov, 2023

使用多模态深度神经网络（DNN）预测了人脑多模态整合的位置，通过预测人类在观看电影时的立体脑电图（SEEG）记录，我们将多模态整合的位置定义为多模态视觉语言模型优于单模态语言、单模态视觉或线性整合的区域。通过对不同架构和多模态训练技术的目标 DNN 模型进行对比，我们发现在大脑区域中存在多个整合多模态信息的神经位点。此外，我们发现在我们评估的多模态训练技术变体中，CLIP 风格的训练最适合下游预测这些位点的神经活动。

Jun, 2024

本研究旨在探究多模态变形器提供的洞察能力，通过对多模态编码模型进行训练，发现多模态变形器学习了语言和视觉中概念表示的更多对齐性，并且可以有效预测大脑对于故事和电影的 fMRI 反应，从而揭示了多模态处理的潜力和相关的概念表示模型的比较。

May, 2023

本研究评估了多种机器学习模型和相似度度量方法对于神经解码的视觉表征解码任务的影响，结果表明提出了更为先进和精确的方法，并为该解码任务提供了易于再现的基准。

Nov, 2018

通过深度学习和神经科学的整合，本研究使用多种不同的解码技术对视觉体验的再建进行了实验，证明了这些技术能够大大提高基线准确率。

Jun, 2023