Jul, 2019

从体素到像素再到体素：自监督法在基于 fMRI 的自然图像重建中的应用

PDF
TL;DR本文提出了一种新颖的方法，利用 Encoder-Decoder 和 Decoder-Encoder 网络结构，通过有标签数据和未标签的数据来训练 fMRI 到图片的重建网络，其中自监督机制使得网络可以适应统计数据的缺乏和输入数据的变化
发现论文，激发创造
  • 一分钱之价（视觉）：自监督重建自然电影的脑活动

    本文研究自我监督方法来重建 fMRI 记录的自然视频，通过编码和解码自然视频的循环一致性以及利用大量外部自然视频，在提高适用的训练数据、引入视频先验以及保持时序一致性等方面取得了重大突破，相比于传统的只依靠有限受监督数据的方法，本文所提出的方法在性能上有了显著的提升。同时，作者还提出了一种简单的针对自然视频的时间先验，进一步提高了视频帧率。

    Jun, 2022

  • 从脑活动中解码高分辨率图像的对比、关注和扩散

    介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

    May, 2023

  • 基于 3T fMRI 数据和无监督学习的视网膜视觉图像重建

    通过无监督生成对抗网络 (GAN) 结合 7T 和 3T 两个不同的 fMRI 数据集，本文提出了一种新的框架来生成改进的 3T fMRI 数据，克服高质量 7-Tesla 数据的稀缺性和 3-Tesla 实验中简短和低质量扫描的挑战，证明了该方法在生成优质输入视觉图像方面相对于在单个主题上进行训练和测试的数据密集型方法的能力。

    Apr, 2024

  • 自监督超声到 MRI 胎儿脑部图像合成

    本文提出了一种基于超声图像合成类似磁共振图像的方法，该方法自监督、端到端可训练，并利用交叉模式关注和对抗性学习等技术，成功生成了逼真的胎儿 MRI 图像。

    Aug, 2020

  • 自监督训练配对脑功能核磁共振数据的迁移学习应用于脑解码任务

    本文介绍了一种自监督预训练框架，用于基于功能性磁共振（fMRI）数据的变压器。作者在两种自监督任务上预训练模型，以教授模型人类听觉皮层在音乐听取期间的时间和空间动态。作者的预训练结果表明，多任务训练对 fMRI 数据具有协同效应。作者在监督 fMRI 分类任务上发现，微调预先训练的模型和训练额外的新模型都能够显著提高准确性，证明了预训练任务促进迁移学习的能力。

    May, 2023

  • 脊柱 MRI 的自监督学习

    本论文提出利用临床中的长期扫描数据进行自我监督学习的方法，使用连续的 MRI 扫描数据进行预训练的 Siamese 卷积神经网络，同时使用对比损失和分类损失对其进行训练，并在椎间盘退变的分类任务上证明其优于从头开始训练的网络，并且需要更少的标注数据。

    Aug, 2017

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • 利用魔方游戏自监督学习 3D 医学图像的特征

    本文提出了一种自我监督学习框架，使用 Rubik's cube recovery 为代理任务来预训练 3D 神经网络，以便从原始 3D 数据中学习平移和旋转不变特性，与从头开始训练相比，用预训练网络微调能够更好地提高 3D 深度学习网络在不使用额外数据的情况下对体积医疗数据集的准确性，这是第一篇关注 3D 神经网络的自我监督学习的工作。

    Oct, 2019

  • 无监督自适应隐式神经表示学习用于特定扫描的 MRI 重建

    我们提出了一种无监督的自适应粗到细框架，通过学习从多维坐标到相应信号强度的映射，有效调整监督信号的比例，从而改善过拟合问题并提高 MRI 重建的整体质量。

    Dec, 2023

  • 磁共振图像的切片间超分辨率：预训练和自监督微调

    提出了一种自监督超分辨率 MR 图像的方法，通过预训练和微调模型，实现高质量的图像重建，可应用于临床医学领域。

    Jun, 2024