Sep, 2023

UniBrain：基于层次化知识增强预训练的通用脑部 MRI 诊断

PDF
TL;DR磁共振成像（MRI）在大脑疾病诊断中起着至关重要的作用，本研究提出了一种分层知识增强的预训练框架 UniBrain，用于通用的脑 MRI 诊断，通过构建一种层次对齐机制，利用大规模数据集进行特征学习，取得了比所有最先进的诊断方法更好的性能且与专家放射科医生相媲美的表现。
magnetic resonance imagingmribrain disease diagnosiscomputer-aided artificial intelligencehierarchical knowledge-enhanced pre-training
发现论文，激发创造
  • 大规模无监督深度表示学习在脑结构方面的应用

    本篇论文利用深度无监督学习方法提取结构性脑部 MRI 扫描的基本特征表示，不需手动干预或前提领域知识，该方法表现出与 FreeSurfer 特征一致的分类任务性能，并可用于重建脑部图像。

    May, 2018

  • UniBrain：将图像重建与字幕生成统一于一个扩散模型之中从人脑活动

    通过人脑活动诱发的视觉刺激来进行图像重建和字幕生成，UniBrain 提出了一种统一的人脑活动扩散模型，通过 fMRI 转换文本和图像潜在信息，并通过 CLIP 引导反向扩散过程，从而生成具有低级细节和高语义真实感的图像和字幕。在图像重建和图像字幕生成方面，UniBrain 在定性和定量方面都优于现有方法，并首次在自然场景数据集（NSD）上报告了图像字幕生成结果。此外，消融实验和感兴趣区域（ROI）分析进一步展示了 UniBrain 的优越性，并为视觉诱发脑解码提供全面的见解。

    Aug, 2023

  • Brain-ID：学习脑部成像的强健特征表示

    Brain-ID 是一种用于脑成像的稳健特征表示学习策略，无论采集图像的外观如何（例如变形、对比度、分辨率、方向、伪影等），都能适应各个受试者的脑解剖结构，可用于多种对比度相关和独立的下游任务。

    Nov, 2023

  • 多任务协作预训练与个体自适应标记微调：大脑表征学习的统一框架

    本研究提出了一种基于 sMRI 数据的新型深度学习框架 MCIAT，通过多任务协同预训练和个体自适应标记微调相结合，以实现高水平的语义表示和大脑诊断性能，对其在多个 sMRI 数据集中进行了评估，并证实了其可解释性。

    Jun, 2023

  • BrainFounder：面向神经影像分析的大脑基础模型

    通过整合来自 41400 名参与者的 MRI 数据集，利用视觉转换器进行两阶段预训练方法，该研究引入了一种新颖的方法来创建医学基础模型，并通过 MRI 在复杂的神经影像任务中提高了模型的准确性和预测能力。

    Jun, 2024

  • 自主学习的文本视觉框架用于自动脑部异常检测

    通过利用神经放射学报告中丰富的信息，我们提出了一个自监督的文字 - 视觉框架，通过对脑部 MRI 扫描进行无监督学习，检测临床相关的异常，为自动分类、自动分级等应用提供支持。

    May, 2024

  • 众智储蓄的智慧：一种通用脑编码器

    我们提出了一种通用脑编码器，能够联合训练来自多个不同主体 / 数据集 / 机器的数据，通过直接计算脑体素嵌入和多级深度图像特征之间的交叉注意力来预测每个脑体素对每个图像的响应，并且利用学习到的体素嵌入作为探索脑功能的强大工具。

    Jun, 2024

  • 语言引导下统一的医学图像预训练在共同语义空间中

    借助统一的语义空间，UniMedI 提出了一种统一医学图像预训练框架，能够有效地为不同模态的医学图像创建统一的表示，并通过改进对 2D 和 3D 图像的分析和解释来提高一致性和性能。

    Nov, 2023

  • 基于模板训练和视觉感知增强的脑 MRI 分割

    通过模板训练方法，使用一种人口平均脑 MRI 模板和相关分割标签，从头开始训练 3D U-Net 模型，在视觉感知增强和减轻过拟合的基础上，实现对鼠、大鼠、印度狨猴、恒河猴和人类脑 MRI 进行头骨去除、脑分割和组织概率映射等分割任务的训练，有效解决数据有限的问题，扩展深度学习在图像分析中的应用，为研究人员提供了仅需一张图像样本即可训练深度神经网络的统一解决方案。

    Aug, 2023

  • 基于混合融合的多序列脑 MRI 综合合成统一框架

    提出了一种名为混合融合生成对抗网络（HF-GAN）的新型统一框架，通过多模式磁共振成像，使得通过补充信息来提供可靠的临床应用诊断。实验证明，该方法在数据插补任务中表现出优异的性能，并且比现有方法在定量和定性比较方面更加优越。

    Jun, 2024