Dec, 2023

MinD-3D: 人类大脑高质量三维物体重建

PDF
TL;DR从功能性磁共振成像（fMRI）信号中重建 3D 视觉，引入了 Recon3DMind 任务；使用 360 度全景视频的 fMRI-Shape 数据集支持这一任务；提出了 MinD-3D 三阶段框架，从 fMRI 信号中解码和重建大脑的 3D 视觉信息；通过有效提取与 fMRI 信号中的视觉兴趣区域高度相关的特征，实现了对高语义相关性和空间相似性的 3D 对象的重建，并深入了解人脑的 3D 视觉处理能力。
发现论文，激发创造
  • 跨模态 3D 生成自动化人类视觉疾病诊断

    利用人工智能方法将功能性磁共振成像（fMRI）解码为可视的 3D 图像，实现对 fMRI 数据的自动临床分析。

    May, 2024

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • 基于 3T fMRI 数据和无监督学习的视网膜视觉图像重建

    通过无监督生成对抗网络 (GAN) 结合 7T 和 3T 两个不同的 fMRI 数据集，本文提出了一种新的框架来生成改进的 3T fMRI 数据，克服高质量 7-Tesla 数据的稀缺性和 3-Tesla 实验中简短和低质量扫描的挑战，证明了该方法在生成优质输入视觉图像方面相对于在单个主题上进行训练和测试的数据密集型方法的能力。

    Apr, 2024

  • 思维动画化：从缓慢的脑活动中解耦动态自然视觉重建

    提出了一种名为 Mind-Animator 的两阶段模型，通过脑活动数据可以重构人类动态视觉，并在三个公共数据集上达到最先进的性能，通过特征解耦和融合，证实了重构视频的神经学解释性。

    May, 2024

  • 电影式大脑景观：基于脑活动的高质量视频重建

    通过对连续 fMRI 数据的渐进式脑掩蔽建模、多模式对比学习以及深度网络训练等方案，提出了 Mind-Video 模型，能够以对抗性指导的方式从连续谷氨酸受体成像数据中高质量地重建任意帧率的视频，并在语义分类和结构相似性指数等方面优于先前的最先进水平 45％，同时还具有生物可行性和可解释性。

    May, 2023

  • 脑力到图像：将大脑的视觉心理想象从 fMRI 投影出来

    通过 fMRI 数据和修改的 fMRI-to-image 模型，我们首次在记忆和纯想象两种模式下，从视觉想象中重建图像的可行性，从而迈出了直接重建视觉想象的技术的重要一步。

    Apr, 2024

  • 从脑活动中解码高分辨率图像的对比、关注和扩散

    介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

    May, 2023

  • MindDiffuser：基于语义和结构扩散的人脑活动控制图像重建

    本文提出了一种名为 MindDiffuser 的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。

    Mar, 2023

  • Lite-Mind: 高效且多功能的脑表示网络

    通过 Lite-Mind，基于离散傅里叶变换的轻量级、高效且通用的脑表示网络，我们成功地在 NSD 数据集的 Subject 1 上实现了 94.3% 的 fMRI 到图像检索准确率，比 MindEye 少 98.7% 的参数，并且在 GOD 数据集上实现了零样本分类的新的最先进成果。

    Dec, 2023

  • 脑解码：朝着实时重建视觉感知迈进

    通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

    Oct, 2023