Oct, 2023

DREAM：从逆向人类视觉系统实现视觉解码

PDF
TL;DRDREAM 是一种基于人类视觉系统的基础知识的 fMRI 到图像的重构方法，通过模拟人类感知视觉世界的分层和并行特性来构建逆向路径，利用专门的路径从 fMRI 数据中提取语义、颜色和深度线索。实验证明，该方法在外观、结构和语义的一致性方面优于当前最先进的模型。
发现论文，激发创造
  • 使用 GPT 嵌入式技术揭示 FMRI 脑语言

    通过 fMRI-based captioning 获取神经的相关性，这有助于认识视觉感知的神经机制，人机交互以及加强学习和训练过程。

    Jun, 2023

  • 跨模态 3D 生成自动化人类视觉疾病诊断

    利用人工智能方法将功能性磁共振成像（fMRI）解码为可视的 3D 图像，实现对 fMRI 数据的自动临床分析。

    May, 2024

  • 从脑活动中解码高分辨率图像的对比、关注和扩散

    介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

    May, 2023

  • 脑解码：朝着实时重建视觉感知迈进

    通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

    Oct, 2023

  • 单向脑机接口：人工神经网络将自然图像编码为视觉皮层的 fMRI 反应

    通过使用具有视觉和上下文输入的多模态模型 VISION，我们成功预测了人类大脑对自然图像的功能性磁共振成像（fMRI）扫描反应，其准确度超过了现有技术性能 45％，并揭示了不同视觉区域的表征偏差，生成了可实验检验的假设，并形成了可解释的指标将这些假设与皮层功能相关联，为设计和实现视觉皮层功能分析带来了降低成本和时间负担的可能性。通过计算模型的进化，我们的工作表明可能揭示出对视觉皮层的基本理解，并提供可靠的脑机接口的可行方法。

    Sep, 2023

  • 基于深度视觉表示模型的从脑电图信号重建视觉刺激图像

    本文提出了一种基于脑电图 (EEG) 信号的图像重建方法，利用低成本、易携带的 EEG 设备构建了视觉刺激图像数据集，并建立了深度视觉表示模型 (DVRM) 来从 EEG 信号学习视觉刺激图像的分布特征，并通过深度神经网络在人类自然状态下还原高度逼真的图像。实验证明，DVRM 在学习 EEG 信号生成深度视觉表示和生成逼真的重建图像任务中具有出色的性能。

    Mar, 2024

  • 思维动画化：从缓慢的脑活动中解耦动态自然视觉重建

    提出了一种名为 Mind-Animator 的两阶段模型，通过脑活动数据可以重构人类动态视觉，并在三个公共数据集上达到最先进的性能，通过特征解耦和融合，证实了重构视频的神经学解释性。

    May, 2024

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • 利用对比自监督和潜在扩散从脑活动解码现实图像

    我们提出了一个名为 CnD 的两阶段框架，通过自监督对比学习获取功能磁共振成像数据的表示，并利用这些编码的数据重建视觉刺激，从而实现了基于人脑活动的可行的图像重建方法。

    Sep, 2023

  • 脑力到图像：将大脑的视觉心理想象从 fMRI 投影出来

    通过 fMRI 数据和修改的 fMRI-to-image 模型，我们首次在记忆和纯想象两种模式下，从视觉想象中重建图像的可行性，从而迈出了直接重建视觉想象的技术的重要一步。

    Apr, 2024