使用机器学习从人脑活动中解码通用视觉表示

ECCVNov, 2018

使用机器学习从人脑活动中解码通用视觉表示

Decoding Generic Visual Representations From Human Brain Activity using Machine Learning

Angeliki Papadimitriou, Nikolaos Passalis, Anastasios Tefas

TL;DR本研究评估了多种机器学习模型和相似度度量方法对于神经解码的视觉表征解码任务的影响，结果表明提出了更为先进和精确的方法，并为该解码任务提供了易于再现的基准。

Abstract

Among the most impressive recent applications of neural decoding is the visual representation decoding, where the category of an object that a subject either sees or imagines is inferred by observing his/her brai

neural decoding visual representation machine learning models similarity metrics decoding accuracy

发现论文，激发创造

利用多个解码输入通过潜在扩散模型改进从人脑活动中重建视觉图像

通过深度学习和神经科学的整合，本研究使用多种不同的解码技术对视觉体验的再建进行了实验，证明了这些技术能够大大提高基线准确率。

Jun, 2023

使用分层视觉特征对已见和想象对象进行通用解码

通过神经网络提取视觉特征，可以用 fMRI 预测任意物体类别，这在大脑信息检索上有实际应用。

Oct, 2015

通过知识蒸馏和潜在扩散模型从脑电图解码视觉大脑表示

本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。

Sep, 2023

深度神经网络与脑部对齐：脑编码与解码（调研）

研究通过功能性磁共振成像对大脑的记录，分析了编码模型和解码模型的应用，尤其关注深度学习算法的效果、好处和限制，并总结了神经科学数据集的代表性研究。

Jul, 2023

多模学习脑视语特征解码视觉神经表示

本文提出了一种名为 BraVL 的神经解码通用方法，采用三模态深度生成模型对脑部、视觉和语义特征之间的关系进行建模，以提高对新颖视觉类别的准确性，进而发现通过视觉和语义特征的组合进行解码比单独使用这两者更卓越，进而表明视觉感知可能伴随语言影响以表示视觉刺激的语义。

Oct, 2022

脑解码：朝着实时重建视觉感知迈进

通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

Oct, 2023

从脑活动中解码高分辨率图像的对比、关注和扩散

介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

May, 2023

脑优化推理改进功能磁共振成像的脑活动重建

通过优化解码方法，将重构结果与脑活动一致性结合，通过迭代优化小样本图像库，我们证明了脑优化推理在改善重构质量和探索视觉脑区不同表征多样性方面的潜力。

Dec, 2023

基于人脑多视角多标签细粒度情感解码

本文提出了一种用于通过大脑活动数据进行情绪识别的新型多视图、多标签的混合模型，可以同时学习表达性的神经表示并多元预测情绪状态，通过实验表明该方法具有较高的识别准确率。

Oct, 2022

语义向量的大脑基础改善了对视觉刺激的神经解码

提出了一种神经解码的表示学习框架，通过微调预训练特征向量以更好地与人脑中的视觉刺激的神经表示对齐，从而提高大脑解码算法的性能。

Mar, 2024