一个参数高效的多主体模型用于预测 fMRI 活动
使用仅 1 小时的 fMRI 训练数据展示了高质量的知觉重建,我们通过在 7 个受试者上进行预训练并在新受试者上进行微调的方法,通过功能对齐和 CLIP 图像空间的映射,实现了对知觉的准确重建。
Mar, 2024
这篇研究论文探讨了如何在保留脑部区域性的同时聚合多主体 fMRI 数据。通过组合共享响应模型和搜索光分析等方法来实现该目标,并介绍了一个系统性设计来解决卷积自编码器的计算挑战。
Aug, 2016
我们通过两步训练过程构建了基于图像的大脑编码器来解决 Algonauts Project 2023 Challenge,目标是预测在大脑视觉区域对复杂视觉场景的观察中捕获到的反应,并采用不同的训练策略构建了多个独特编码器的集成解决方案。
Aug, 2023
脑活动解码的研究一直以来都是一个持久的追求,具有脑机接口、医学诊断和虚拟现实等潜在应用。我们提出了一种创新的 fMRI 预训练自编码器方法(fMRI-PTE),专注于解决因个体脑差异导致的 fMRI 数据维度变化的挑战。我们将 fMRI 信号转化为统一的二维表示,确保维度一致并保留独特的脑活动模式。我们引入了一种新颖的学习策略,针对预训练二维 fMRI 图像,提高重构品质。fMRI-PTE 通过与图像生成器的适应性,能够生成良好表示的 fMRI 特征,便于各种下游任务,包括同一受试者和跨受试者的脑活动解码。我们的贡献包括介绍 fMRI-PTE、创新的数据转化、高效的训练、新颖的学习策略以及我们方法的普适性。广泛的实验证实和支持了我们的观点,为该领域深入研究奠定了有希望的基础。
Nov, 2023
我们提出了一种新的方法来解决功能磁共振成像(fMRI)数据稀缺和噪声干扰脑解码模型性能的问题,通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中,然后使用共享的深层解码模型将跨学科特征解码为目标特征空间,利用视觉和文本监督进行多模态脑解码的训练,实验证明了我们模型在所有科目中的鲁棒神经表示学习,并且将高级和低级信息相结合可以改善重建度量。
Mar, 2024
通过数据对齐方法,我们的研究旨在引入一种针对跨个体大脑解码的泛化技术。我们使用了 NSD 数据集,利用多个受试者的数据对齐,对跨个体大脑解码进行了训练和测试,证实了即使使用约 10% 的数据或 982 个共同图像,交叉个体的大脑解码也是可行的,与单个个体解码相比性能相当。岭回归是最佳的功能对齐方法,通过受试者对齐,我们实现了更优秀的大脑解码以及可能的扫描时间缩减 90%,为更高效的实验和领域的进一步突破铺平了道路,通常需要耗费昂贵的每个受试者的 20 小时扫描时间。
Aug, 2023
我们提出了一种半参数生成模型,用于预测基准图像后随后扫描中患者的解剖结构。该模型通过个体基因和临床指标的非参数模型,结合全群回归捕捉解剖学变化。我们演示了在 ADNI 队列中预测随访解剖扫描,并且说明了比较患者扫描和预测的个体化健康解剖轨迹的新分析方法。
Oct, 2020
采用深度学习和脑解码技术,本研究通过跨参与者对齐脑响应视频和静态图像,提高了脑解码性能,并将神经表征与脑解剖结构相一致,为扩展神经成像数据集和增强有限脑记录的个体解码奠定了基础。
Dec, 2023
本论文提出了一种多变量噪声模型与神经元影像生成模型的简单技术,通过构建因果关系实现了单个主体预测及对预测结果的解释,且在训练模型时只需要一个超参数。
Jun, 2023
本文提出一种基于跨学科功能磁共振成像数据聚合的方法,使用跨主题图作为开发更灵活框架的先验条件,以处理各种类型的功能磁共振成像数据集,并进一步规范了该框架,提出了一种可行的基于核的优化方法,以避免因 fMRI 数据的空间低且时间分辨率高产生的过拟合问题。实验结果表明,该方法不仅适用于处理时间对齐的 fMRI 数据,而且还适用于处理时间不对齐的 fMRI 数据。
May, 2019