Feb, 2022

使用实例条件 GAN 从 fMRI 图像和语义大脑探索中重建知觉图像

PDF
TL;DR本文研究使用 Instance-Conditioned GAN 模型从 fMRI 信号中重构自然图像，成功捕捉了语义信息和低层次图像细节，并使用回归模型探索了人类大脑感兴趣区域的语义特征。
neural decodinginstance-conditioned gansemantic attributeslow-level detailsfmri signals
发现论文，激发创造
  • 通过形状语义 GAN 从脑活动中重建感知图像

    使用层次化的视觉处理技术，通过深度学习以及生成对抗网络，更加准确和高效地从 fMRI 数据中解析视觉信息，从而实现更优秀的图像重建性能。

    Jan, 2021

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • 基于 3T fMRI 数据和无监督学习的视网膜视觉图像重建

    通过无监督生成对抗网络 (GAN) 结合 7T 和 3T 两个不同的 fMRI 数据集，本文提出了一种新的框架来生成改进的 3T fMRI 数据，克服高质量 7-Tesla 数据的稀缺性和 3-Tesla 实验中简短和低质量扫描的挑战，证明了该方法在生成优质输入视觉图像方面相对于在单个主题上进行训练和测试的数据密集型方法的能力。

    Apr, 2024

  • 从脑活动中解码高分辨率图像的对比、关注和扩散

    介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

    May, 2023

  • 基于脑活动的感知面部重建的双向流 GAN 模型

    本研究提出了一种名为 Double-Flow GAN 的新型重构框架，通过增强判别器的能力和处理在某些领域中图像的不平衡性，提高了从脑活动中重建知觉面孔的能力，并通过使用从图像中提取的特征作为条件进行预训练，解决了在更大的纯图像数据集中从 fMRI 预训练条件重构模型的问题。此外，还开发了一个简单的预训练模型来执行 fMRI 对齐，缓解了由于不同受试者之间的脑结构变化而导致的跨被试重建问题。通过采用我们提出的方法和最先进的重建模型进行实验证明，我们的方法显示出显著的重建性能，超越了先前的重建模型，并展现了良好的生成能力。

    Dec, 2023

  • 实例条件生成对抗网络

    该论文介绍了一种基于非参数方法和核密度估计技术的生成式对抗网络（GANs）模型 IC-GAN 来模拟复杂数据集的分布，提高了图像生成的真实性和数量结果，同时也具备对未见过数据集的泛化能力。

    Sep, 2021

  • 通过引导性随机搜索从人脑活动中重建已见图像

    利用条件生成扩散模型对大脑活动中的语义描述符进行可视化重建，有效改善了搜索策略，同时保持了低级图像细节的精细度和语义信息的一致性，并且发现该过程的收敛时间与视觉皮层的区域差异有关。

    Apr, 2023

  • 利用对比自监督和潜在扩散从脑活动解码现实图像

    我们提出了一个名为 CnD 的两阶段框架，通过自监督对比学习获取功能磁共振成像数据的表示，并利用这些编码的数据重建视觉刺激，从而实现了基于人脑活动的可行的图像重建方法。

    Sep, 2023

  • 从体素到像素再到体素：自监督法在基于 fMRI 的自然图像重建中的应用

    本文提出了一种新颖的方法，利用 Encoder-Decoder 和 Decoder-Encoder 网络结构，通过有标签数据和未标签的数据来训练 fMRI 到图片的重建网络，其中自监督机制使得网络可以适应统计数据的缺乏和输入数据的变化

    Jul, 2019

  • Brain-Diffuser: 使用生成潜在扩散从 fMRI 信号中重建自然场景

    利用神经解码技术和新型图像生成的巨大进展，我们提出了一个两阶段场景重建框架（Brain-Diffuser），它能够从 fMRI 信号中推断出场景的低级特征和整体布局，随后通过潜在扩散模型生成最终重建的图像。该方法在公开数据集基准测试中表现出色，在应用（例如脑机接口）和基础神经科学方面都有深远的影响。

    Mar, 2023