Dec, 2023

BrainVis：通过图像重建探索大脑和视觉信号之间的桥梁

PDF
TL;DR通过将 EEG 信号分解成多个单元并自我监督学习获取时间域特征，利用频域特征增强 EEG 表示，将 EEG 时频嵌入与 CLIP 空间中的粗粒度语义插值对齐，使用级联扩散模型重建图像，我们提出的 BrainVis 在语义保真度重建和生成质量方面均优于现有技术，值得注意的是，我们将训练数据规模降低到以前的 10%。
visual stimulieeg signalsbrainvisreconstructionclip space
发现论文，激发创造
  • 透视大脑：从人脑信号重建视觉感知

    本文介绍了一种名为 NeuroImagen 的综合流程，用于从动态的脑电信号（EEG 信号）中重构高分辨率的视觉刺激图像，并通过多层次的感知信息解码提取实用信息，实验结果表明该方法在图像重构方面具有显著的效果和卓越的定量性能。

    Jul, 2023

  • 从脑电图记录学习稳健的深度视觉表征

    该研究使用脑电图 (EEG) 信号进行图像重建和分类，通过深度学习的特征提取方法在多个数据集上展示了其在大脑与计算机交互中的可广泛应用性，并提出了一种在 EEG 空间中转换未见图像并进行近似重建的新框架，显示出优于生成对抗网络现有性能的潜力。

    Oct, 2023

  • 通过知识蒸馏和潜在扩散模型从脑电图解码视觉大脑表示

    本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。

    Sep, 2023

  • 基于深度视觉表示模型的从脑电图信号重建视觉刺激图像

    本文提出了一种基于脑电图 (EEG) 信号的图像重建方法，利用低成本、易携带的 EEG 设备构建了视觉刺激图像数据集，并建立了深度视觉表示模型 (DVRM) 来从 EEG 信号学习视觉刺激图像的分布特征，并通过深度神经网络在人类自然状态下还原高度逼真的图像。实验证明，DVRM 在学习 EEG 信号生成深度视觉表示和生成逼真的重建图像任务中具有出色的性能。

    Mar, 2024

  • MindDiffuser：使用语义和结构扩散从人类大脑活动进行受控图像重建

    我们提出了一种名为 MindDiffuser 的两阶段图像重建模型，通过使用 fMRI 进行前向估计和反向传播来实现想定图像的语义和结构信息的精确对齐，实验结果表明该模型在自然场景数据集上超过了现有的最先进模型，并且与相应的大脑反应呈现的多模态特征解释力一致，从而证实其神经生物学的合理性。

    Aug, 2023

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • EEG-ImageNet: 多层次标签的脑电图数据集和基准测试

    通过脑活动识别和重建我们所看到的内容，可以深入研究生物视觉系统如何代表世界。本文介绍了 EEG-ImageNet，一个包括从 16 名受试者记录的来自 ImageNet 数据集中的 4000 个图像的新颖 EEG 数据集，该数据集为目标分类和图像重建建立了基准。实验结果表明该数据集有助于推动基于脑电图的视觉脑 - 计算机界面，理解生物系统的视觉知觉，并在改进机器视觉模型方面有潜在应用。

    Jun, 2024

  • 深度学习人类思维用于自动化视觉分类

    本文利用人类脑电图与神经网络结合的方法，研究了使用人类的视觉能力辅助计算机视觉系统进行分类的可能性，并取得了较好的实验结果。

    Sep, 2016

  • 基于 EEG 的图像特征提取与深度学习视觉分类

    本研究采用一种有效的编码方式将脑电信号编码为图像，从而实现对深度学习模型中的脑信号进行更细致的理解，并将其与标准图像特征相结合，以提高深度学习模型的可解释性。通过在六个受试者的层数据集上对 39 个图像类别进行编码分类，该方法在 82% 的准确率方面优于现有工作，从而证明了该理论的可行性。

    Sep, 2022

  • 从脑电图解码自然图像进行物体识别

    我们提出了一种自监督框架，从脑电信号中学习图像表征。通过对配对图像刺激和脑电反应进行特征提取，然后使用对比学习来对齐这两种模态，我们的方法在最广泛的脑电图像数据集上取得了最先进的结果，并在 200 种零样本任务中达到了 15.6% 的 top-1 准确率和 42.8% 的 top-5 准确率。对脑电信号的时间、空间、频谱和语义方面的广泛实验表明了良好的生物合理性，这些结果对神经解码和脑 - 计算机界面的现实应用提供了有价值的见解。

    Aug, 2023