通过脑活动识别和重建我们所看到的内容，可以深入研究生物视觉系统如何代表世界。本文介绍了 EEG-ImageNet，一个包括从 16 名受试者记录的来自 ImageNet 数据集中的 4000 个图像的新颖 EEG 数据集，该数据集为目标分类和图像重建建立了基准。实验结果表明该数据集有助于推动基于脑电图的视觉脑 - 计算机界面，理解生物系统的视觉知觉，并在改进机器视觉模型方面有潜在应用。

Jun, 2024

我们提出了一种自监督框架，从脑电信号中学习图像表征。通过对配对图像刺激和脑电反应进行特征提取，然后使用对比学习来对齐这两种模态，我们的方法在最广泛的脑电图像数据集上取得了最先进的结果，并在 200 种零样本任务中达到了 15.6% 的 top-1 准确率和 42.8% 的 top-5 准确率。对脑电信号的时间、空间、频谱和语义方面的广泛实验表明了良好的生物合理性，这些结果对神经解码和脑 - 计算机界面的现实应用提供了有价值的见解。

Aug, 2023

本论文提出了一个新的数据集和基准，旨在推进大脑活动和眼动交叉领域的研究。使用该数据集，我们还提出了一个 EEG 测量下注视预测的基准，并对此进行了广泛的实验，为基础机器学习模型和大型神经网络提供了坚实的基础。

Nov, 2021

该研究使用脑电图 (EEG) 信号进行图像重建和分类，通过深度学习的特征提取方法在多个数据集上展示了其在大脑与计算机交互中的可广泛应用性，并提出了一种在 EEG 空间中转换未见图像并进行近似重建的新框架，显示出优于生成对抗网络现有性能的潜力。

Oct, 2023

本研究采用一种有效的编码方式将脑电信号编码为图像，从而实现对深度学习模型中的脑信号进行更细致的理解，并将其与标准图像特征相结合，以提高深度学习模型的可解释性。通过在六个受试者的层数据集上对 39 个图像类别进行编码分类，该方法在 82% 的准确率方面优于现有工作，从而证明了该理论的可行性。

Sep, 2022

本文介绍了一个大规模的眼镜数据集 OpenEDS，该数据集利用虚拟现实（VR）头戴式显示器捕获图像，其中包括 152 名参与者的眼部区域，该数据集可用于眼动跟踪研究和机器学习领域的语义分割任务。

Apr, 2019

提出了一种利用视频数据集和图像相结合的方法，通过学习用户注视与眼部外形之间的联系来提高眼动追踪的精度，实现基于网络摄像头的高准确度屏幕眼动追踪，不需要标记的数据并且通过视觉刺激和眼部图像信息融合可以达到监督式个性化的效果。

Jul, 2020

本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。

Sep, 2023

研究报告发表在 Human Brain Mapping 期刊上，修订版已发布，请参阅并引用。

Mar, 2017

本研究介绍了一种基于脑电信号的 MUltimodal Similarity-keeping contrastivE learning（MUSE）框架，用于解码图像，实现零样本图像分类。通过对脑电数据集进行正则化对比性脑电图像预训练，我们的方法在 200 种零样本图像分类中取得了最先进的性能，其中 Top-1 准确率为 19.3％，Top-5 准确率为 48.8％。此外，通过模型解释，我们对神经模式进行了可视化，从而阐明了人脑中的视觉处理动态。本工作的代码存储库位于：https://url 链接。

Jun, 2024