Sep, 2023

跨视觉数据集中静态图像的 BOLD fMRI 时间序列编码：人类视觉的初步研究

PDF
TL;DR使用功能性磁共振成像（fMRI）对不同图像数据集进行复杂性特定的图像分类，研究神经活动与视觉相关的差异，发现并比较了不同网络模型在多类别分类中的性能，建立了研究人类大脑对不同复杂度图像反应的基准。
functional mrifmriimage categorizationneuronal activitiesbrain functionality
发现论文，激发创造
  • 基于人类视觉的 fMRI 时间序列分析，探究观看复杂度不同图像时 BOLD 响应的变化

    通过使用 fMRI 时间序列分析，本研究旨在研究人类大脑对不同复杂度图像的神经变化，通过对公开的 BOLD5000 数据集进行图像分类和时间语义分割的实验，以揭示人类大脑在感知图像时 BOLD 信号的波动和变化。

    Sep, 2023

  • 探寻视觉脑网络中直接功能连接的本质

    通过对 fMRI 时间序列的全面分析探索了不同类型的视觉脑网络 (VBN)，其中的图形特征分类结果显示 XGBoost 对于正相关的 VBN 的平均准确率范围为 86.5% 至 91.5%，比负相关的 VBN 高 2%，这不仅体现了每种图像复杂性特异性 VBN 的区分图形特征，也强调了研究正相关和负相关 VBN 以理解在观看不同复杂度的真实世界图像时大脑功能的不同的重要性。

    Mar, 2024

  • 基于图像复杂性的 fMRI-BOLD 视觉网络分类方法：在视觉数据集上使用拓扑描述符和深度混合学习

    该研究提出了一种新的方法，研究使用与 COCO、ImageNet 和 SUN 等视觉数据集对应的 fMRI BOLD 时间序列构建的视觉网络的拓扑特征差异。通过计算每个视觉网络代表 COCO、ImageNet 和 SUN 的 0 维和 1 维持续图，并提取拓扑持久图的适当特征，进行 K-means 聚类。将提取的 K-means 聚类特征输入到一种新的深度混合模型，对这些视觉网络进行分类，可达到 90% 至 95% 的准确率。这种对不同视觉数据集进行视觉网络分类的研究对于理解视觉很重要，因为它捕捉到了在感知具有不同上下文和复杂性的图像时 BOLD 信号的差异。此外，该研究揭示了与每个数据集相关的视觉网络的独特拓扑模式，这可能为诊断视觉失认症或面孔失认症等视觉处理障碍，并跟踪视觉认知变化的发展未来的神经影像生物标记物的发展提供了潜在的线索。

    Nov, 2023

  • 单向脑机接口：人工神经网络将自然图像编码为视觉皮层的 fMRI 反应

    通过使用具有视觉和上下文输入的多模态模型 VISION，我们成功预测了人类大脑对自然图像的功能性磁共振成像（fMRI）扫描反应，其准确度超过了现有技术性能 45％，并揭示了不同视觉区域的表征偏差，生成了可实验检验的假设，并形成了可解释的指标将这些假设与皮层功能相关联，为设计和实现视觉皮层功能分析带来了降低成本和时间负担的可能性。通过计算模型的进化，我们的工作表明可能揭示出对视觉皮层的基本理解，并提供可靠的脑机接口的可行方法。

    Sep, 2023

  • 使用 GPT 嵌入式技术揭示 FMRI 脑语言

    通过 fMRI-based captioning 获取神经的相关性，这有助于认识视觉感知的神经机制，人机交互以及加强学习和训练过程。

    Jun, 2023

  • 使用深度学习进行动态自然视觉的神经编码和解码

    研究表明，使用卷积神经网络 (CNN) 驱动的图像识别技术不仅能在下流视觉区域说明大脑对静态图片的反应，还能可靠地预测和解码人类观看自然电影时的功能性磁共振成像数据，并通过缺少有关时间动态或反馈处理机制的 CNN-Predicted areas 覆盖了包括腹侧流和背侧流在内的大部分视觉和语义空间。

    Aug, 2016

  • 从脑活动中解码高分辨率图像的对比、关注和扩散

    介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

    May, 2023

  • 构建基于时空预测的脑数据表示模型

    通过比较深度学习和几何深度学习的各种建模技术来为未来的研究铺平道路，以有效利用典型的 fMRI 数据集以及其他类似数据集的丰富的时空域，从而为人们对健康和疾病中大脑动态的更加细致的理解、以及减少对专业临床专家的需求提供方法。

    Feb, 2020

  • 脑部字幕：将人脑活动解码成图像和文本

    该研究采用 fMRI 技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

    May, 2023

  • 使用卷积神经网络对时间数据进行分类的空间编码时序相关性

    该论文提出了一种离线方法，将时间模式显式地编码为不同类型的图像，即 Gramian Angular Fields 和 Markov Transition Fields，并使用 Tiled Convolutional Neural Networks 从个体 GAF， MTF 和 GAF-MTF 图像中学习高级特征，该方法的分类结果与最先进的方法相当。

    Sep, 2015