Sep, 2023

通过知识蒸馏和潜在扩散模型从脑电图解码视觉大脑表示

PDF
TL;DR本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。
decoding visual representationsbrain-computer interfaceselectroencephalography dataconvolutional neural networkimage reconstruction
发现论文，激发创造
  • 从脑电图记录学习稳健的深度视觉表征

    该研究使用脑电图 (EEG) 信号进行图像重建和分类，通过深度学习的特征提取方法在多个数据集上展示了其在大脑与计算机交互中的可广泛应用性，并提出了一种在 EEG 空间中转换未见图像并进行近似重建的新框架，显示出优于生成对抗网络现有性能的潜力。

    Oct, 2023

  • 从脑电图解码自然图像进行物体识别

    我们提出了一种自监督框架，从脑电信号中学习图像表征。通过对配对图像刺激和脑电反应进行特征提取，然后使用对比学习来对齐这两种模态，我们的方法在最广泛的脑电图像数据集上取得了最先进的结果，并在 200 种零样本任务中达到了 15.6% 的 top-1 准确率和 42.8% 的 top-5 准确率。对脑电信号的时间、空间、频谱和语义方面的广泛实验表明了良好的生物合理性，这些结果对神经解码和脑 - 计算机界面的现实应用提供了有价值的见解。

    Aug, 2023

  • 深度表示学习用于开放词汇的脑电图到文本解码

    使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

    Nov, 2023

  • 透视大脑：从人脑信号重建视觉感知

    本文介绍了一种名为 NeuroImagen 的综合流程，用于从动态的脑电信号（EEG 信号）中重构高分辨率的视觉刺激图像，并通过多层次的感知信息解码提取实用信息，实验结果表明该方法在图像重构方面具有显著的效果和卓越的定量性能。

    Jul, 2023

  • 利用多个解码输入通过潜在扩散模型改进从人脑活动中重建视觉图像

    通过深度学习和神经科学的整合，本研究使用多种不同的解码技术对视觉体验的再建进行了实验，证明了这些技术能够大大提高基线准确率。

    Jun, 2023

  • 评估认知任务结构的迁移学习

    通过在不同的 EEG 解码任务上进行深度学习网络的预训练和评估，研究了深度学习表达在任务之间的可迁移性，并发现在解码性能上有显著的提升，同时揭示了特定解码范式引发特定脑活动的证据，从神经科学的角度加强了我们对认知任务之间层次关系的理解。

    Jul, 2023

  • vEEGNet: 通过变分自动编码器学习潜在表示来重构 EEG 原始数据

    该论文提出了 vEEGNet 模型，结合了变分自编码器和前馈神经网络，用于对复杂的多维时间序列电脑脑电图（EEG）数据进行分类和重构，取得了最先进的分类性能，并能够重构低频和中频范围的原始 EEG 信号。

    Nov, 2023

  • BrainVis：通过图像重建探索大脑和视觉信号之间的桥梁

    通过将 EEG 信号分解成多个单元并自我监督学习获取时间域特征，利用频域特征增强 EEG 表示，将 EEG 时频嵌入与 CLIP 空间中的粗粒度语义插值对齐，使用级联扩散模型重建图像，我们提出的 BrainVis 在语义保真度重建和生成质量方面均优于现有技术，值得注意的是，我们将训练数据规模降低到以前的 10%。

    Dec, 2023

  • 基于深度视觉表示模型的从脑电图信号重建视觉刺激图像

    本文提出了一种基于脑电图 (EEG) 信号的图像重建方法，利用低成本、易携带的 EEG 设备构建了视觉刺激图像数据集，并建立了深度视觉表示模型 (DVRM) 来从 EEG 信号学习视觉刺激图像的分布特征，并通过深度神经网络在人类自然状态下还原高度逼真的图像。实验证明，DVRM 在学习 EEG 信号生成深度视觉表示和生成逼真的重建图像任务中具有出色的性能。

    Mar, 2024

  • 深度学习人类思维用于自动化视觉分类

    本文利用人类脑电图与神经网络结合的方法，研究了使用人类的视觉能力辅助计算机视觉系统进行分类的可能性，并取得了较好的实验结果。

    Sep, 2016