Jun, 2024

通过 fNIRS 解码视觉想象的进展

PDF
TL;DR通过训练图像重建模型，我们证明了从 fNIRS 脑活动中重建图像的可能性，并开始构建一个符合要求的原型。我们发现厘米级空间分辨率足以生成图像，通过下采样的 fMRI 数据，我们获得了 1 厘米分辨率的 71％检索准确率，而全分辨率的 fMRI 为 93％，2 厘米分辨率下为 20％。我们的模拟和高密度层析成像结果表明，时间域 fNIRS 可以达到 1 厘米分辨率，而连续波 fNIRS 为 2 厘米分辨率。最后，我们分享了一个原型时间域 fNIRS 设备的设计，包括激光驱动器，单光子探测器和时间数字转换器系统。
发现论文，激发创造
  • 脑解码：朝着实时重建视觉感知迈进

    通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

    Oct, 2023

  • 对超高场功能磁共振成像的分辨率和刺激不可知超分辨率技术的应用：以视觉研究为例

    这项研究介绍了一种基于深度学习的三维超分辨率 (fMRI) 方法，通过采用一个分辨率无关的图像增强框架，使我们的方法能适应不同的体素尺寸而无需重新训练。我们应用了这一创新技术来定位早期视觉区域中细粒度的运动选择性区域，并且证明这种方法潜在地能增强 fMRI 的空间分辨率，并大幅降低采集时间。

    Nov, 2023

  • 从脑活动中解码高分辨率图像的对比、关注和扩散

    介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

    May, 2023

  • 使用高通道 NIRS 数据解码 n-Back 任务中的工作记忆负荷

    使用近红外光谱技术可以通过脑部血氧变化来测量神经活动，越来越多的可穿戴设备也使得该技术在研究中得以应用。本研究中，通过机器学习和跨个体的迁移学习，提出了一种新的方法来解决高分辨率近红外光谱数据的分类问题，实现了前沿性的脑机接口解码效果。

    Dec, 2023

  • fNIRS 中深度学习分类模型的校准

    我们提出将校准整合到功能性近红外光谱（fNIRS）领域，并评估现有模型的可靠性，结果表明许多模型在校准性能方面表现不佳。通过本文，我们总结了三个实用的技巧，以强调校准在 fNIRS 研究中的重要作用，并提出加强 fNIRS 分类任务中基于深度学习的预测的可靠性的观点。

    Feb, 2024

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • 简单却行之有效：重新思考 fNIRS 在排除异常输入中的深度学习能力

    用非侵入性技术的功能性近红外光谱（fNIRS）监测脑活动。通过使用深度学习解决 fNIRS 数据的分类挑战，研究表明当前 fNIRS 网络在准确预测其训练分布内的数据方面效果显著，但对于识别并排除分布之外的异常数据则表现不佳，影响可靠性。我们提出将度量学习和监督方法融入 fNIRS 研究，以提高网络识别和排除分布之外异常数据的能力。该方法简单而有效，在实验中明显提升了各种 fNIRS 网络的性能，尤其是基于 transformer 的网络，显示出了可靠性的巨大改进。我们将在 GitHub 上提供实验数据。

    Feb, 2024

  • 通过合成数据生成与机器学习应用推进脑功能近红外光谱成像技术

    通过合成数据和应用机器学习模型，本研究提出了一种整合方法，用于推进功能性近红外光谱（fNIRS）神经影像学。通过解决高质量神经影像数据的匮乏问题，该研究利用蒙特卡洛模拟和参数头部模型生成了一个全面的合成数据集，反映了各种条件。我们开发了一个采用 Docker 和 Xarray 的容器化环境，用于标准化和可重复的数据分析，便于在不同的信号处理模式之间进行有意义的比较。此外，建立了一个基于云的基础设施，用于可扩展的数据生成和处理，提高了神经影像数据的可访问性和质量。合成数据生成与机器学习技术的结合有望提高 fNIRS 断层扫描的准确性、效率和适用性，潜在地革新神经疾病的诊断和治疗策略。本文中开发的方法和基础设施为数据模拟和分析设立了新的标准，并为神经影像学和更广泛的生物医学工程领域的未来研究铺平了道路。

    May, 2024

  • MindEye2: 共享主体模型实现 1 小时数据的 fMRI-to-Image

    使用仅 1 小时的 fMRI 训练数据展示了高质量的知觉重建，我们通过在 7 个受试者上进行预训练并在新受试者上进行微调的方法，通过功能对齐和 CLIP 图像空间的映射，实现了对知觉的准确重建。

    Mar, 2024

  • 脑力到图像：将大脑的视觉心理想象从 fMRI 投影出来

    通过 fMRI 数据和修改的 fMRI-to-image 模型，我们首次在记忆和纯想象两种模式下，从视觉想象中重建图像的可行性，从而迈出了直接重建视觉想象的技术的重要一步。

    Apr, 2024