可控制的心智视觉扩散模型
我们提出了一种名为 MindDiffuser 的两阶段图像重建模型，通过使用 fMRI 进行前向估计和反向传播来实现想定图像的语义和结构信息的精确对齐，实验结果表明该模型在自然场景数据集上超过了现有的最先进模型，并且与相应的大脑反应呈现的多模态特征解释力一致，从而证实其神经生物学的合理性。
Aug, 2023
本文提出了一种名为 MindDiffuser 的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。
Mar, 2023
我们提出了一个名为 CnD 的两阶段框架，通过自监督对比学习获取功能磁共振成像数据的表示，并利用这些编码的数据重建视觉刺激，从而实现了基于人脑活动的可行的图像重建方法。
Sep, 2023
利用 Latent Diffusion Models (LDM) 从功能性磁共振成像（fMRI）中重建视觉刺激，NeuralDiffuser 引入基于主要视觉特征的指导以提供细节线索，扩展 LDM 方法的自下而上过程，实现忠实的语义和细节，同时通过一种新颖的指导策略确保重复重构的一致性结果。在 Natural Senses Dataset (NSD) 上取得了 NeuralDiffuser 的最新性能，提供了更忠实的细节和一致的结果。
Feb, 2024
利用神经解码技术和新型图像生成的巨大进展，我们提出了一个两阶段场景重建框架（Brain-Diffuser），它能够从 fMRI 信号中推断出场景的低级特征和整体布局，随后通过潜在扩散模型生成最终重建的图像。该方法在公开数据集基准测试中表现出色，在应用（例如脑机接口）和基础神经科学方面都有深远的影响。
Mar, 2023
本文提出了一种使用双条件潜在扩散模型的 MinD-Vis：稀疏掩蔽脑建模方法，通过大型潜在空间中的掩蔽建模来学习 fMRI 数据的有效自我监督表示。实验证明，该方法在语义映射和生成质量方面都优于现有技术，并且只需很少的成对注释即可从脑记录中重建高度合理的图像。
Nov, 2022
通过引入 MVControl 神经网络架构，我们成功地提出了一种能够增强现有预训练的多视角二维扩散模型并结合额外输入条件（如边缘图）的方法。通过我们的方法，实现了可控的多视角图像生成和视角一致的三维内容创作。
Nov, 2023
介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。
May, 2023
本研究提出了一种基于物理原理的扩散模型来生成高质量的扩散磁共振成像，引入了扩散过程中的噪声演化物理原理和基于查询的条件映射，并通过采用适配器技术引入 XTRACT 图谱作为白质束的先验知识，实验结果表明我们的方法优于其他最先进的方法，并具有推进扩散磁共振成像增强的潜力。
Jun, 2024
通过扩充小规模或不平衡数据集来生成高质量的影像，本研究提出了一种扩散模型来实现解剖结构控制的医学影像生成，有别于现有模型，该模型在每个采样步骤中遵循多类解剖学分割掩模，并采用随机掩模消融算法来实现对所选解剖约束的条件控制。在乳腺磁共振成像和腹部 / 颈至骨盆 CT 数据集上进行比较评估，验证了本模型对于解剖结构真实性和掩模准确性的优越性。此外，我们提供易于使用的代码库并发布了一个生成的成对乳腺磁共振成像数据集，该方法具有多种应用，包括预注册影像生成和反事实情境分析等。
Feb, 2024