将脑电图信号映射到视觉刺激：基于深度学习的匹配与不匹配分类方法

Sep, 2023

将脑电图信号映射到视觉刺激：基于深度学习的匹配与不匹配分类方法

Mapping EEG Signals to Visual Stimuli: A Deep Learning Approach to Match vs. Mismatch Classification

Yiqian Yang, Zhengqiao Zhao, Qian Wang, Yan Yang, Jingdong Chen

TL;DR通过建立深度学习模型处理视觉刺激与脑电图之间的关联，本研究分析了跨主体差异、模型概括化的困难，并通过独特实验数据集验证该模型能够获得最高准确率。此外，还通过主体间轮廓分数、Grad-CAM 激活评分等分析结果表明，大脑语言和视觉处理区域对模型预测具有重要影响。这些结果有助于神经记录视频重建及其相关应用的发展。

Abstract

Existing approaches to modeling associations between visual stimuli and brain responses are facing difficulties in handling between-subject variance and model generalization. Inspired by the recent progress in mo

modeling associations visual stimuli brain responses deep learning model neural recordings

发现论文，激发创造

基于 Inter-subject Contrastive Learning 的面向主体自适应的基于 EEG 的视觉认知

文章使用一种新方法，通过提高来自不同参与者但属于相同类的特征的相似性，从而实现学习主体无关的表示，进而在训练中仅使用少数样本即可准确预测基于 EEG 信号的视觉刺激类别。在有限数据情况下，即使采用了严格的问题设置，该方法在 EEG-ImageNet40 基准上实现了令人满意的表现，即面向目标主体每类只使用 5 个 EEG 样本时：72.6％ / 91.6％的 top-1 /top-3 测试精度。

Feb, 2022

从脑电图记录学习稳健的深度视觉表征

该研究使用脑电图 (EEG) 信号进行图像重建和分类，通过深度学习的特征提取方法在多个数据集上展示了其在大脑与计算机交互中的可广泛应用性，并提出了一种在 EEG 空间中转换未见图像并进行近似重建的新框架，显示出优于生成对抗网络现有性能的潜力。

Oct, 2023

心智之眼：脑电波通过多模态相似性保持对比学习进行图像识别

本研究介绍了一种基于脑电信号的 MUltimodal Similarity-keeping contrastivE learning（MUSE）框架，用于解码图像，实现零样本图像分类。通过对脑电数据集进行正则化对比性脑电图像预训练，我们的方法在 200 种零样本图像分类中取得了最先进的性能，其中 Top-1 准确率为 19.3％，Top-5 准确率为 48.8％。此外，通过模型解释，我们对神经模式进行了可视化，从而阐明了人脑中的视觉处理动态。本工作的代码存储库位于：https://url 链接。

Jun, 2024

基于 EEG 的图像特征提取与深度学习视觉分类

本研究采用一种有效的编码方式将脑电信号编码为图像，从而实现对深度学习模型中的脑信号进行更细致的理解，并将其与标准图像特征相结合，以提高深度学习模型的可解释性。通过在六个受试者的层数据集上对 39 个图像类别进行编码分类，该方法在 82% 的准确率方面优于现有工作，从而证明了该理论的可行性。

Sep, 2022

深度学习人类思维用于自动化视觉分类

本文利用人类脑电图与神经网络结合的方法，研究了使用人类的视觉能力辅助计算机视觉系统进行分类的可能性，并取得了较好的实验结果。

Sep, 2016

BrainVis：通过图像重建探索大脑和视觉信号之间的桥梁

通过将 EEG 信号分解成多个单元并自我监督学习获取时间域特征，利用频域特征增强 EEG 表示，将 EEG 时频嵌入与 CLIP 空间中的粗粒度语义插值对齐，使用级联扩散模型重建图像，我们提出的 BrainVis 在语义保真度重建和生成质量方面均优于现有技术，值得注意的是，我们将训练数据规模降低到以前的 10%。

Dec, 2023

通过知识蒸馏和潜在扩散模型从脑电图解码视觉大脑表示

本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。

Sep, 2023

基于深度视觉表示模型的从脑电图信号重建视觉刺激图像

本文提出了一种基于脑电图 (EEG) 信号的图像重建方法，利用低成本、易携带的 EEG 设备构建了视觉刺激图像数据集，并建立了深度视觉表示模型 (DVRM) 来从 EEG 信号学习视觉刺激图像的分布特征，并通过深度神经网络在人类自然状态下还原高度逼真的图像。实验证明，DVRM 在学习 EEG 信号生成深度视觉表示和生成逼真的重建图像任务中具有出色的性能。

Mar, 2024

使用深度循环卷积神经网络从脑电图中学习表征

该研究中提出了一种新方法，可以从多通道 EEG 时间序列中学习稳健的特征，以提高认知负荷分类任务的分类准确率。

Nov, 2015

基于关注力的脑电运动想象分类任务中的小样本关系学习

通过深度学习的 FEW-SHOT 架构，提高结合关系得分分类 MI EEG 信号的准确度。

Mar, 2020