Aug, 2023

从脑电图解码自然图像进行物体识别

PDF
TL;DR我们提出了一种自监督框架，从脑电信号中学习图像表征。通过对配对图像刺激和脑电反应进行特征提取，然后使用对比学习来对齐这两种模态，我们的方法在最广泛的脑电图像数据集上取得了最先进的结果，并在 200 种零样本任务中达到了 15.6% 的 top-1 准确率和 42.8% 的 top-5 准确率。对脑电信号的时间、空间、频谱和语义方面的广泛实验表明了良好的生物合理性，这些结果对神经解码和脑 - 计算机界面的现实应用提供了有价值的见解。
发现论文，激发创造
  • 从脑电图记录学习稳健的深度视觉表征

    该研究使用脑电图 (EEG) 信号进行图像重建和分类，通过深度学习的特征提取方法在多个数据集上展示了其在大脑与计算机交互中的可广泛应用性，并提出了一种在 EEG 空间中转换未见图像并进行近似重建的新框架，显示出优于生成对抗网络现有性能的潜力。

    Oct, 2023

  • 通过知识蒸馏和潜在扩散模型从脑电图解码视觉大脑表示

    本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。

    Sep, 2023

  • 基于 EEG 的图像特征提取与深度学习视觉分类

    本研究采用一种有效的编码方式将脑电信号编码为图像，从而实现对深度学习模型中的脑信号进行更细致的理解，并将其与标准图像特征相结合，以提高深度学习模型的可解释性。通过在六个受试者的层数据集上对 39 个图像类别进行编码分类，该方法在 82% 的准确率方面优于现有工作，从而证明了该理论的可行性。

    Sep, 2022

  • 心智之眼：脑电波通过多模态相似性保持对比学习进行图像识别

    本研究介绍了一种基于脑电信号的 MUltimodal Similarity-keeping contrastivE learning（MUSE）框架，用于解码图像，实现零样本图像分类。通过对脑电数据集进行正则化对比性脑电图像预训练，我们的方法在 200 种零样本图像分类中取得了最先进的性能，其中 Top-1 准确率为 19.3％，Top-5 准确率为 48.8％。此外，通过模型解释，我们对神经模式进行了可视化，从而阐明了人脑中的视觉处理动态。本工作的代码存储库位于：https://url 链接。

    Jun, 2024

  • 深度表示学习用于开放词汇的脑电图到文本解码

    使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

    Nov, 2023

  • 神经记忆解码：基于 EEG 数据和表示学习

    使用神经解码的方法从 EEG 数据中提取记忆，通过深度表征学习和监督对比损失将脑电图映射到低维空间，可在训练数据集中没有出现的概念中识别，可应用于信息检索问题。

    Jul, 2023

  • EEG-ImageNet: 多层次标签的脑电图数据集和基准测试

    通过脑活动识别和重建我们所看到的内容，可以深入研究生物视觉系统如何代表世界。本文介绍了 EEG-ImageNet，一个包括从 16 名受试者记录的来自 ImageNet 数据集中的 4000 个图像的新颖 EEG 数据集，该数据集为目标分类和图像重建建立了基准。实验结果表明该数据集有助于推动基于脑电图的视觉脑 - 计算机界面，理解生物系统的视觉知觉，并在改进机器视觉模型方面有潜在应用。

    Jun, 2024

  • 带条件识别信息的脑电解码

    通过将个体的条件识别信息纳入神经网络中，将 EEG 信号解码与个人特征相结合，从而提高 EEG 可解释性和相关识别特征的理解，以提高模型表达能力。在 WithMe 数据集上的测试结果表明，这种方式显著提高了训练集和未知个体的准确性，具有改善 EEG 解释性和理解相关识别特征的潜力。

    Mar, 2024

  • 基于深度视觉表示模型的从脑电图信号重建视觉刺激图像

    本文提出了一种基于脑电图 (EEG) 信号的图像重建方法，利用低成本、易携带的 EEG 设备构建了视觉刺激图像数据集，并建立了深度视觉表示模型 (DVRM) 来从 EEG 信号学习视觉刺激图像的分布特征，并通过深度神经网络在人类自然状态下还原高度逼真的图像。实验证明，DVRM 在学习 EEG 信号生成深度视觉表示和生成逼真的重建图像任务中具有出色的性能。

    Mar, 2024

  • vEEGNet: 通过变分自动编码器学习潜在表示来重构 EEG 原始数据

    该论文提出了 vEEGNet 模型，结合了变分自编码器和前馈神经网络，用于对复杂的多维时间序列电脑脑电图（EEG）数据进行分类和重构，取得了最先进的分类性能，并能够重构低频和中频范围的原始 EEG 信号。

    Nov, 2023