Sep, 2023

基于人类视觉的 fMRI 时间序列分析，探究观看复杂度不同图像时 BOLD 响应的变化

PDF
TL;DR通过使用 fMRI 时间序列分析，本研究旨在研究人类大脑对不同复杂度图像的神经变化，通过对公开的 BOLD5000 数据集进行图像分类和时间语义分割的实验，以揭示人类大脑在感知图像时 BOLD 信号的波动和变化。
functional mribrain functionalityimage complexityfmri time series analysisbold signals
发现论文，激发创造
  • 跨视觉数据集中静态图像的 BOLD fMRI 时间序列编码：人类视觉的初步研究

    使用功能性磁共振成像（fMRI）对不同图像数据集进行复杂性特定的图像分类，研究神经活动与视觉相关的差异，发现并比较了不同网络模型在多类别分类中的性能，建立了研究人类大脑对不同复杂度图像反应的基准。

    Sep, 2023

  • 探寻视觉脑网络中直接功能连接的本质

    通过对 fMRI 时间序列的全面分析探索了不同类型的视觉脑网络 (VBN)，其中的图形特征分类结果显示 XGBoost 对于正相关的 VBN 的平均准确率范围为 86.5% 至 91.5%，比负相关的 VBN 高 2%，这不仅体现了每种图像复杂性特异性 VBN 的区分图形特征，也强调了研究正相关和负相关 VBN 以理解在观看不同复杂度的真实世界图像时大脑功能的不同的重要性。

    Mar, 2024

  • 脑形式化：将 MRI 脑功能建模到机器视觉中

    通过引入新颖的基于 Transformer 的 Brainformer 方法，分析人类感知系统中 fMRI 模式，并将其作为监督机制应用于机器视觉模型，通过实验证明，在各种图像识别任务中，利用 fMRI 信息可以实现与当前最先进方法相比的潜在结果。

    Nov, 2023

  • 跨模态 3D 生成自动化人类视觉疾病诊断

    利用人工智能方法将功能性磁共振成像（fMRI）解码为可视的 3D 图像，实现对 fMRI 数据的自动临床分析。

    May, 2024

  • 基于图像复杂性的 fMRI-BOLD 视觉网络分类方法：在视觉数据集上使用拓扑描述符和深度混合学习

    该研究提出了一种新的方法，研究使用与 COCO、ImageNet 和 SUN 等视觉数据集对应的 fMRI BOLD 时间序列构建的视觉网络的拓扑特征差异。通过计算每个视觉网络代表 COCO、ImageNet 和 SUN 的 0 维和 1 维持续图，并提取拓扑持久图的适当特征，进行 K-means 聚类。将提取的 K-means 聚类特征输入到一种新的深度混合模型，对这些视觉网络进行分类，可达到 90% 至 95% 的准确率。这种对不同视觉数据集进行视觉网络分类的研究对于理解视觉很重要，因为它捕捉到了在感知具有不同上下文和复杂性的图像时 BOLD 信号的差异。此外，该研究揭示了与每个数据集相关的视觉网络的独特拓扑模式，这可能为诊断视觉失认症或面孔失认症等视觉处理障碍，并跟踪视觉认知变化的发展未来的神经影像生物标记物的发展提供了潜在的线索。

    Nov, 2023

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • 从脑活动中解码高分辨率图像的对比、关注和扩散

    介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

    May, 2023

  • 单向脑机接口：人工神经网络将自然图像编码为视觉皮层的 fMRI 反应

    通过使用具有视觉和上下文输入的多模态模型 VISION，我们成功预测了人类大脑对自然图像的功能性磁共振成像（fMRI）扫描反应，其准确度超过了现有技术性能 45％，并揭示了不同视觉区域的表征偏差，生成了可实验检验的假设，并形成了可解释的指标将这些假设与皮层功能相关联，为设计和实现视觉皮层功能分析带来了降低成本和时间负担的可能性。通过计算模型的进化，我们的工作表明可能揭示出对视觉皮层的基本理解，并提供可靠的脑机接口的可行方法。

    Sep, 2023

  • 脑解码：朝着实时重建视觉感知迈进

    通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

    Oct, 2023

  • 动态视觉刺激的神经表征

    人类通过不断变化的视觉刺激来感知世界，其中场景可以移动、改变外观和距离。这篇研究论文针对动态视觉刺激的大多数研究聚焦于静态刺激，限制了对人类视觉的调查。与之相反，动态视觉刺激提供了更符合生态有效性的方法，但由于时空信息的相互作用，使得解耦稳定图像特征和运动表征的困难增加。为了解决这个问题，在动态输入情况下，我们明确地解耦了人脑中静态图像表征和运动表征的建模。三个结果证明了这个方法的可行性。首先，我们展示了视觉运动信息（如光流）可以从 fMRI 测得的脑活动中预测（或解码）出来。其次，我们展示了可以使用这个预测运动来使用基于运动条件的视频扩散模型（其中运动由 fMRI 脑活动驱动）逼真地使静态图像动画化。第三，我们展示了在相反方向上的预测：现有的视频编码器可以进行微调，从视频图像中预测 fMRI 脑活动，并且相较于图像编码器能更有效地进行预测。这项基础工作为解释人类大脑如何处理动态视觉信息提供了一种新颖且可扩展的框架。

    Jun, 2024