基于文本信息和解剖组成的方法生成基于文本提示的图像，并应用于多种下游任务。

Oct, 2023

该研究提出一种 “病理学家在环路中” 的框架，通过人工专家的反馈，将临床知识注入扩散模型，从而生成具有临床可信度的合成医学影像。

Jun, 2023

人工智能基于图像分析在诊断组织病理学方面，尤其是癌症诊断方面具有巨大潜力。为了开发监督式人工智能方法，需要大规模的注释数据集。本研究提出了一种从自动提取的图像特征中构建结构化文本提示的方法。通过在提示中引入图像特征而不仅仅是正常和癌症标签，我们改善了 Fréchet Inception Distance (FID) 的性能，从 178.8 提升到 90.2。我们还表明，病理学家难以检测到合成图像，敏感性 / 特异性的中位数为 0.55/0.55。最后，我们展示了合成数据有效地训练人工智能模型。

Dec, 2023

该研究提出了一种基于生成对抗网络的新型双阶段流水线，用于从医学图像数据中生成合成医学图像，并开发了 SynthMed 在线数据库以促进医学图像任务的发展。

Sep, 2017

本文提出了使用无监督生成式模型来进行异常检测的方法，并在数字病理学领域展示了其优势，实验证明这种方法比有监督模型更优秀。

Apr, 2021

本文提出了一种新的解决方案来增强放射学家的结论写作，重点在于，将放射学图像和检查结果组合在一起生成结论，主要包括解剖学增强多模态模型和对比学习模块，经过两个基准数据集的实验证明，该方法显著优于其他自动结论生成模型。

Oct, 2022

本研究提出了一种无监督学习的方法，利用生成对抗网络（GAN）生成与真实组织学图像相似的组织学图像，以提高分类 CNN 的性能，该方法不仅能在缺少监督数据的情况下有效地进行癌症诊断，而且对于含有监督数据的情况仍能表现出色。

Dec, 2017

在医学影像领域，现有的可提示分割方法主要考虑文本或视觉提示，但在处理医学图像中的异常情况（如肿瘤）时往往存在一些局限性，因为肿瘤在形状、大小和外观等方面可能存在很大的变异。为了解决医学场景的复杂性和文本或视觉提示的局限性，我们提出了一种新颖的双提示模式，利用视觉和文本提示的互补优势来分割各种器官和肿瘤。具体而言，我们引入了一种创新的模型 CAT，它通过医学领域知识丰富的 3D 裁剪图像生成解剖提示，与富含医学领域知识的文本提示进行配合。该模型采用了基于查询的通用设计，其中提示查询有助于进行掩模预测的分割查询。为了在统一框架内协调两种类型的提示，我们实现了一个 ShareRefiner，它同时改进了分割和提示查询，同时解耦了两种类型的提示。在由 10 个公共 CT 数据集组成的联合培训集上进行训练，CAT 在多个分割任务中展现出卓越的性能。在一组特殊的内部数据集上进行的进一步验证显示了在多个癌症阶段分割肿瘤的显著能力。这种方法验证了协调多模式提示是解决医学领域复杂场景的一种有前途的途径。

Jun, 2024

本研究中，我们提出了一种使用生成性对抗网络通过在两个公共数据集上训练生成合成 MRI 图像的方法，以产生具有脑肿瘤的合成异常 MRI 图像。结果表明这些合成图像提供两个独特的好处，第一是作为数据增强的一种方式，可以提高肿瘤分割的性能，第二，证明了生成模型作为匿名化工具的价值，通过使用合成数据，实现了与实际患者数据训练具有可比性的肿瘤分割结果。这些结果为解决医学成像中机器学习面临的两个最大挑战，即病理发现的小发生率和患者数据共享的限制，提供了潜在的解决方案。

Jul, 2018

本文介绍一种新颖的基于语言相关的自监督学习框架，即 Hierarchical Language-tied Self-Supervised (HLSS) 方法，用于医学图像的层次化表示学习。通过结合领域特定的自然语言信息与图像的层次化视觉表示，该方法在医学图像任务中取得了最先进的性能，同时还提供了更好的可解释性。

Mar, 2024