Jun, 2023

大规模生成模型的视觉探索：基于脑扩散的皮层发现

PDF
TL;DR该研究通过结合大规模扩散模型和脑图像合成的方法，介绍了 BrainDiVE（Brain Diffusion for Visual Exploration），该方法有效地从自然图像和功能磁共振成像数据中合成预测激活给定脑区域的图像，并验证了 BrainDiVE 在人类视觉皮层的 fine-grained functional organization 的应用及假设驱动方法的作用。
brain functional organizationvisual corteximage synthesisgenerative modelscortical organization
发现论文，激发创造
  • 皮层表面扩散生成模型

    在这项研究中，我们提出了一种基于修改后的表面视觉转换模型作为主要架构的新型扩散模型，用于生成大脑皮层表面度量。我们在发育中的人类连接组计划 (dHCP) 中验证了我们的方法，结果表明我们的模型在捕捉变化中的大脑皮层表面的复杂细节方面表现出优越性能。此外，我们的模型可以在扫描时根据孕周龄 (PMA) 生成高质量、逼真的皮层表面样本。

    Feb, 2024

  • Brain-Diffuser: 使用生成潜在扩散从 fMRI 信号中重建自然场景

    利用神经解码技术和新型图像生成的巨大进展，我们提出了一个两阶段场景重建框架（Brain-Diffuser），它能够从 fMRI 信号中推断出场景的低级特征和整体布局，随后通过潜在扩散模型生成最终重建的图像。该方法在公开数据集基准测试中表现出色，在应用（例如脑机接口）和基础神经科学方面都有深远的影响。

    Mar, 2023

  • 通过引导性随机搜索从人脑活动中重建已见图像

    利用条件生成扩散模型对大脑活动中的语义描述符进行可视化重建，有效改善了搜索策略，同时保持了低级图像细节的精细度和语义信息的一致性，并且发现该过程的收敛时间与视觉皮层的区域差异有关。

    Apr, 2023

  • 利用对比自监督和潜在扩散从脑活动解码现实图像

    我们提出了一个名为 CnD 的两阶段框架，通过自监督对比学习获取功能磁共振成像数据的表示，并利用这些编码的数据重建视觉刺激，从而实现了基于人脑活动的可行的图像重建方法。

    Sep, 2023

  • BrainSCUBA: 视觉皮层选择性的细粒度自然语言描述

    利用数据驱动方法生成自然语言描述的研究，通过引入 Contrastive Vision-Language 模型和预训练的大型语言模型构建的 BrainSCUBA 方法，解释了高级视觉区域的功能偏好和对人体的语义敏感性。

    Oct, 2023

  • MindDiffuser：基于语义和结构扩散的人脑活动控制图像重建

    本文提出了一种名为 MindDiffuser 的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。

    Mar, 2023

  • 大规模钙成像数据揭示猴 V4 区新的功能结构

    本研究使用大规模的钙成像与深度学习方法，研究了灵长类视觉 V4 区域能否处理自然图像，并得到了 V4 区域自然刺激偏好的详细拓扑地图。该地图包含了一系列自然图像特征，从表面特征例如颜色和纹理到形状特征例如边缘、曲率和面部特征。

    Jul, 2023

  • 可控制的心智视觉扩散模型

    本文提出了一种名为 Controllable Mind Visual Diffusion Model (CMVDM) 的新方法，利用属性对齐和辅助网络从 fMRI 数据中提取语义和轮廓信息，并利用控制模型对提取的信息进行图像合成，与其他现有方法相比，CMVDM 在定性和定量上都具有更好的性能。

    May, 2023

  • 利用大规模神经影像数据集创建连接组约束方法，以实现更加稳健、高效和适应性人工智能

    利用大型神经成像数据集中的连接性图谱等手段，改善边缘端机器学习的效率和鲁棒性，并通过对果蝇和哺乳动物视脑回路连接等领域的分析，展示了多种潜在的应用脑科学领域洞见的方法。

    May, 2023

  • MindDiffuser：使用语义和结构扩散从人类大脑活动进行受控图像重建

    我们提出了一种名为 MindDiffuser 的两阶段图像重建模型，通过使用 fMRI 进行前向估计和反向传播来实现想定图像的语义和结构信息的精确对齐，实验结果表明该模型在自然场景数据集上超过了现有的最先进模型，并且与相应的大脑反应呈现的多模态特征解释力一致，从而证实其神经生物学的合理性。

    Aug, 2023