Sep, 2023

Chat2Brain: 将开放性语义查询映射为脑活动图的方法

PDF
TL;DR该研究提出了一种名为 Chat2Brain 的方法，将大型语言模型与基本的文本 - 图像模型 Text2Brain 相结合，以在数据稀缺和复杂查询环境中将开放式语义查询映射到脑激活图，从而改善元分析的挑战。我们证明 Chat2Brain 能够合成更复杂的文本查询任务的解剖学上合理的神经激活模式。
neurosciencemeta-analysistext querieslarge language modelschat2brain
发现论文，激发创造
  • MapGuide: 大脑活动重建连续语言的简单而有效方法

    通过直接比较从脑活动中映射的预测文本嵌入与实际文本重建，我们的方法在文本重建方面明显胜过当前最先进模型，实验证明更精确地将脑活动映射到文本嵌入将获得更好的重建结果，这为未来的工作简化了从脑活动中重建语言的任务，强调了改进脑到文本嵌入映射技术的重要性。

    Mar, 2024

  • BrainChat：使用视觉 - 语言预训练模型从脑功能磁共振成像解码语义信息

    使用 CoCa 模型，本文提出了一种简单而有效的生成框架 BrainChat，旨在从脑活动中快速实现语义信息解码任务，包括 fMRI 问题回答和 fMRI 字幕生成，通过编码稀疏的 fMRI 数据，利用对比损失将 fMRI、图像和文本嵌入对齐，然后通过交叉注意层将 fMRI 嵌入映射到生成的脑解码器，以最小化字幕损失的方式以回归的方式生成有关 fMRI 的文本内容。成功地超过了现有状态 - of-the-art 方法在 fMRI 字幕生成任务中，并首次实现了 fMRI 问题回答。此外，BrainChat 在没有图像数据的情况下仍可以实现高性能，更适用于现实世界的数据有限场景。

    Jun, 2024

  • MindSemantix: 用大脑 - 语言模型解读大脑视觉经历

    通过脑活动捕获的功能性磁共振成像解译人类视觉体验是神经科学研究领域的前沿挑战之一。本文介绍了 MindSemantix，这是一种新颖的多模态框架，使语言模型能够理解脑活动中唤起的语义内容，并形成无缝连接的端到端脑 - 语言模型。

    May, 2024

  • 利用语言模型绘制大脑地图：一项调查

    研究人员调查了超过 30 个研究、10 个数据集和 8 个测量方法，发现大脑和语言模型激活有一些结构相似性，但现有证据还不充分，需要更多研究。

    Jun, 2023

  • 使用深度网络在大脑中区分语法和语义

    通过对 GPT-2 的激活进行统计的方法，将语言模型的高维度激活分解成四个组合类别：词汇、组合、句法和语义表示，并发现组合表示比词汇表示更广泛地招募了大脑皮层网络，并且句法和语义共享一个分布式神经基础。该研究提出了一个多功能的框架来分离神经活动中的语言建构分布式表示。

    Mar, 2021

  • ChatGPT-BCI: 使用 GPT、EEG 和眼动生物标志的语义推理阅读理解的词级神经状态分类

    通过联合分析大型语言模型、眼动数据和脑电图数据，本研究旨在研究人脑在阅读时对具有不同关联程度的关键词的词语的处理方式，并用特征工程方法改善相关脑电图数据的分类，从而为人类的认知能力和人工智能领域提供有价值的洞察，并为发展潜在的阅读辅助技术提供指导。

    Sep, 2023

  • 将认知本体映射到和从大脑中映射出

    本文介绍了一种方法来累积关于观察到的脑活动和相应功能之间的双向联系的知识。我们的方法基于大量的影像研究和一个预测引擎。我们首次演示了预测完全新的脑图像的认知内容的方法。

    Nov, 2013

  • ChatLLM 网络：更多的智能，更多的大脑

    本文提出 ChatLLM 网络，利用多个基于 ChatGPT 的对话语言模型协同解决问题的能力，加入了一种反向传递更新系统，展现了这个网络在问题解决方面的显著性能提升。

    Apr, 2023

  • 大型语言模型在大脑中的映射是什么？反对过度依赖脑部评分的案例

    使用大型语言模型研究大脑信号，通过测量模型的预测能力和大脑的相似性，关注大脑活动对语言处理的核心元素，并发现过度依赖大脑信号评分可能导致对大型语言模型与大脑相似性的过度解读。

    Jun, 2024

  • 脑部字幕：将人脑活动解码成图像和文本

    该研究采用 fMRI 技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

    May, 2023