- R&B -- 节奏与脑:通过人脑活动解码音乐的跨主体研究
本研究通过功能性磁共振成像(fMRI)测量的人脑活动,探究音乐是否能够从中解码。利用最新的数据集和预训练的计算模型,研究人员构建了神经数据和音乐刺激的潜在表示之间的映射关系,通过功能和解剖对齐技术解决了 fMRI 数据中低时间分辨率和信噪比 - EEG-ImageNet: 多层次标签的脑电图数据集和基准测试
通过脑活动识别和重建我们所看到的内容,可以深入研究生物视觉系统如何代表世界。本文介绍了 EEG-ImageNet,一个包括从 16 名受试者记录的来自 ImageNet 数据集中的 4000 个图像的新颖 EEG 数据集,该数据集为目标分类 - BrainChat:使用视觉 - 语言预训练模型从脑功能磁共振成像解码语义信息
使用 CoCa 模型,本文提出了一种简单而有效的生成框架 BrainChat,旨在从脑活动中快速实现语义信息解码任务,包括 fMRI 问题回答和 fMRI 字幕生成,通过编码稀疏的 fMRI 数据,利用对比损失将 fMRI、图像和文本嵌入对 - 大脑的苦苦教训:自我监督学习下的语音解码的扩展
开发一组神经科学启发的自监督目标和神经架构,用于从异构和无标记神经记录中进行表征学习,实验证明这些目标学习到的表征能够普遍适用于不同的被试者、数据集和任务,并比仅使用有标记数据时更快地学习;此外,为两个基础性语音解码任务设置了新的基准,这些 - MindSemantix: 用大脑 - 语言模型解读大脑视觉经历
通过脑活动捕获的功能性磁共振成像解译人类视觉体验是神经科学研究领域的前沿挑战之一。本文介绍了 MindSemantix,这是一种新颖的多模态框架,使语言模型能够理解脑活动中唤起的语义内容,并形成无缝连接的端到端脑 - 语言模型。
- 思维动画化:从缓慢的脑活动中解耦动态自然视觉重建
提出了一种名为 Mind-Animator 的两阶段模型,通过脑活动数据可以重构人类动态视觉,并在三个公共数据集上达到最先进的性能,通过特征解耦和融合,证实了重构视频的神经学解释性。
- 揭示思维:脑电信号解码成文本之进展综述
脑活动转化为文本的研究在近年来取得了显著的进展,许多研究人员致力于开发新模型将脑电信号解码为文本形式,但该领域仍面临许多挑战,需要进一步改进。该综述文章完整总结了脑电信号转化为文本的进展,包括该技术的成长、仍存在的问题、数据收集方法、信号处 - Wills Aligner: 一个健壮的多主体大脑表示学习器
Wills Aligner 是一个强大的多主体大脑表征学习器,通过解决解剖差异问题,实现了在多主体中高效利用单个模型进行脑表征学习,并在粗粒度和细粒度的视觉解码任务上取得了最先进的表现。
- ACLMapGuide: 大脑活动重建连续语言的简单而有效方法
通过直接比较从脑活动中映射的预测文本嵌入与实际文本重建,我们的方法在文本重建方面明显胜过当前最先进模型,实验证明更精确地将脑活动映射到文本嵌入将获得更好的重建结果,这为未来的工作简化了从脑活动中重建语言的任务,强调了改进脑到文本嵌入映射技术 - MindEye2: 共享主体模型实现 1 小时数据的 fMRI-to-Image
使用仅 1 小时的 fMRI 训练数据展示了高质量的知觉重建,我们通过在 7 个受试者上进行预训练并在新受试者上进行微调的方法,通过功能对齐和 CLIP 图像空间的映射,实现了对知觉的准确重建。
- 通过高阶关注脑网络分析大麻使用者的静息态 fMRI 数据
通过使用 HOGAB 模型,本研究发现长期使用大麻会对认知控制产生负面影响,特别是在注意力、认知和高级认知功能所需的脑网络中,以预测渴望图和识别与长期渴望相关的脑图,并确定对分析重要的活跃区域。
- 人脑在听取伪造与真实音频时表现出不同的模式:初步证据
通过对真实和伪造音频进行研究,发现最先进的深度伪造音频检测算法所学习的表示并不表现出真伪音频之间明显的不同模式,相反,通过脑电图测量可观察到人类在接触伪造音频和真实音频时的不同模式,这为深度伪造音频检测等领域的未来研究方向提供了初步证据。
- 基于脑电图的生成式抑郁症鉴别器
构建一个基于三个生理定律的生成式检测网络 (GDN) 来学习脑活动与脑电信号之间的关系从而检测和分类抑郁症,通过训练两个生成器来学习抑郁症和正常群体的脑活动特征,在测试中可以根据脑电信号生成的信号与原始信号的一致性确定对应的分类,获得 92 - 使用脑电图与机器学习分析学习任务的脑活动
该研究旨在分析不同 STEM 活动中的大脑活动,探索分类不同任务的可行性。收集了二十个受试者在五个认知任务中的脑电数据,并将其分割为 4 秒的片段。通过分析大脑频率波的功率谱密度,测试了使用 XGBoost、随机森林和装袋分类器等不同的 k - AAAI脑优化推理改进功能磁共振成像的脑活动重建
通过优化解码方法,将重构结果与脑活动一致性结合,通过迭代优化小样本图像库,我们证明了脑优化推理在改善重构质量和探索视觉脑区不同表征多样性方面的潜力。
- 语音语言模型缺乏重要的与大脑相关的语义
文本和语音语言模型能够准确预测脑部活动,但是消除特定的低级刺激特征后发现语音模型失去了对大脑的预测能力,进一步研究显示语音模型需要改进以更好地反映大脑的语言处理。
- fMRI-PTE:一种用于多被试脑活动解码的大规模 fMRI 预训练 Transformer 编码器
脑活动解码的研究一直以来都是一个持久的追求,具有脑机接口、医学诊断和虚拟现实等潜在应用。我们提出了一种创新的 fMRI 预训练自编码器方法(fMRI-PTE),专注于解决因个体脑差异导致的 fMRI 数据维度变化的挑战。我们将 fMRI 信 - 自我监督的语音和语言模型是否能从人脑中提取相似的表示?
语言和语音模型在自监督学习过程中表现出与语音和语言感知过程中的脑活动的强烈一致性。本研究通过评估两个代表性的自监督学习模型 Wav2Vec2.0 和 GPT-2 的脑预测性能来直接回答这个问题。研究结果显示,两个模型都能准确预测听觉皮层中的 - 利用对比自监督和潜在扩散从脑活动解码现实图像
我们提出了一个名为 CnD 的两阶段框架,通过自监督对比学习获取功能磁共振成像数据的表示,并利用这些编码的数据重建视觉刺激,从而实现了基于人脑活动的可行的图像重建方法。
- 背侧视觉通路的三维视图预测模型
深度神经网络在腹侧视觉流中与脑活动相吻合。然而,灵长类动物视觉系统具有与之不同的背侧处理流,具有不同的功能性质。本研究旨在通过训练自监督几何感知递归神经网络(GRNN)来预测新的相机视图,使用 3D 特征存储器来测试该模型是否与背侧视觉区域