May, 2023

GenerateCT: 基于文本引导的 3D 胸部 CT 生成

PDF
TL;DR本文提出了 GenerateCT 方法，它是第一个用于文本条件下的计算机体层摄影（CT）生成的方法，并且构建了一个包含预训练大型语言模型和基于变压器的文本条件 3D 胸部 CT 生成结构的框架。同时，我们提出了 CT-ViT 来更有效地压缩 CT 数据。实验结果表明 GenerateCT 可以根据医学文本提示生成逼真、高分辨率和高保真度的 3D 胸部 CT 体积，具有很大的潜力加速医学成像研究。
generative modelingtext-to-image synthesistext-to-video synthesisgeneratect3d medical image generation
发现论文，激发创造
  • MedSynV1：基于文本引导的解剖感知高保真度 3D CT 图像合成

    基于文本信息和解剖组成的方法生成基于文本提示的图像，并应用于多种下游任务。

    Oct, 2023

  • RoentGen: 胸部 X 光图像生成的视觉语言基础模型

    本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真 CXR 的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。

    Nov, 2022

  • GuideGen: 用于联合 CT 体积和解剖结构生成的文本引导框架

    本研究提出了一种生成医学图像数据集的管道，通过生成神经模型生成 CT 图像和组织掩码，从而为下游任务提供潜在益处。

    Mar, 2024

  • RadGenome-Chest CT：用于胸部 CT 分析的基于视觉和语言的数据集

    通过开源医学图像数据集、基于最新的通用分割和大型语言模型，我们介绍了 RadGenome-Chest CT，这是一个全面的、大规模的、基于 CT-RATE 的区域导向的 3D 胸部 CT 解读数据集，推动了多模态医学基础模型的发展。

    Apr, 2024

  • 基于生成预训练变压器的医学图像描述

    本文提出了一种自动生成医疗记录摘要的方法，结合对前胸透视 X 光扫描的分析和来自放射学记录的结构化患者信息，使用 Show-Attend-Tell 和 GPT-3 两种语言模型生成具体和描述性的放射学记录，并在 Open-I、MIMIC-CXR 和 MS-COCO 等医疗数据集上进行测试，结果表明其能够有效地应用于胸部 X 光图像字幕生成和病理定位。

    Sep, 2022

  • CT2Rep: 三维医学成像的自动化放射学报告生成

    通过引入一种基于先进 3D 视觉编码器和自回归因果变换器的新型方法，借助交叉注意力多模式融合模块和分层记忆，我们首次提出了一种用于生成三维医学影像尤其是胸部 CT 体素的放射学报告的方法，并证明了其有效性。

    Mar, 2024

  • SdCT-GAN：使用自主驱动生成对抗网络由双平面 X 射线重建 CT

    本文提出了一种新的自主驱动生成对抗网络模型（SdCT-GAN），通过引入鉴别器中的新型自动编码器结构，以及结合来自 2D X 射线图像的边缘信息的 Sobel 梯度引导器（SGG）思想，能够更好地保留细节并使用 LPIPS 评估度量量化评估重构图像的轮廓和纹理，实验证明了该模型相对于主流最先进基准模型的优势。

    Sep, 2023

  • 使用生成模型生成胸部 X 射线数据的可行性评估

    使用生成模型（特别是 PG-GANs 和 Stable Diffusion fine-tuning）生成合成胸部 X 射线图像进行医学诊断的可能性的探索。使用 Chest X-ray 14 数据集进行实验，并通过定性和定量分析评估我们的模型的性能，结果表明生成的图像具有可信度，可以用于提高分类模型的准确性。

    May, 2023

  • 使用 3D 条件生成对抗网络生成合成 CT 体积

    利用条件生成对抗网络可以从噪声和 / 或像素化的近似中生成三维计算机体层扫描，该方法在 COVID19 CT 方面表现出色，可用于图像降噪和复原任务。

    Apr, 2021

  • X2CT-GAN: 用生成对抗网络从二平面 X 光线重建 CT

    使用生成对抗网络（GAN）框架从两个正交 X 射线重构 CT。所提出的特殊设计的生成器网络通过提供从 2D 到 3D 的数据维度增加，从而提高了医学成像技术。该方法不需要完整的旋转扫描并可以在低成本的 X 射线机上实现。在公开的胸部 CT 数据集上进行了广泛的实验评估，并获得较好的成果。

    May, 2019