人工智能基于图像分析在诊断组织病理学方面，尤其是癌症诊断方面具有巨大潜力。为了开发监督式人工智能方法，需要大规模的注释数据集。本研究提出了一种从自动提取的图像特征中构建结构化文本提示的方法。通过在提示中引入图像特征而不仅仅是正常和癌症标签，我们改善了 Fréchet Inception Distance (FID) 的性能，从 178.8 提升到 90.2。我们还表明，病理学家难以检测到合成图像，敏感性 / 特异性的中位数为 0.55/0.55。最后，我们展示了合成数据有效地训练人工智能模型。

Dec, 2023

本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

Jun, 2022

使用潜在扩散模型（LDMs）生成高质量的图像，以改善组织病理学图像的肿瘤分级模型训练。通过训练特定的 LDMs，利用输入图像上的像素级注释生成包含多个 Gleason Grades（GGs）的合成图像块，并有效利用合成图像块来提升现有模型的癌症分级性能，特别是在罕见的 GG5 病例中。

Apr, 2024

基于深度学习的自适应深度控制双向扩散（ADBD）网络通过域迁移方法，可以与小的训练集合一起工作，并通过源信息引导克服扩散过拟合。该网络通过混合全局和局部关注优先级指导双向扩散，确保迁移成功。此外，它还通过自适应深度控制策略模拟生理转化，能够生成具有相应软标签的无限交叉领域中间图像。ADBD 网络对克服病理图像数据不足具有有效性，并且支持进一步病理学相关研究。

Nov, 2023

我们引入了一种新方法，结合了潜在扩散模型和组织病理预训练嵌入，以增强冰冻切片图像的恢复。通过扩散和去噪技术，我们的方法不仅保留了颜色染色和组织形态等关键诊断特征，还提出了一种嵌入转换机制来更好地预测目标组织病理切片的表示。结果表明，该方法显著提高了分类性能，并伴有有利的 CaseFD 指标。该研究为冰冻切片图像翻译质量建立了新的基准，有望在组织病理学冰冻切片图像分析中提供增强的可靠性和准确性。

Apr, 2024

通过在大规模无标签数据集上预训练潜在扩散模型（LDM），我们提出了一种名为 HistoDiffusion 的合成增强方法，然后在未见过的有标签数据集上通过分类器引导在潜在空间中微调模型，以合成特定类别的图像，并采用选择性机制只添加与目标标签匹配度较高的合成样本，通过 HistoDiffusion 增强，使用少量原始标签，我们大幅提高了骨干分类器的分类准确率 6.4%。

Aug, 2023

为了解决当前依赖互联网数据随机抓取并导致人类行为退化和偏见的文本导向图像生成方法在生成图像时存在的问题，我们提出了一种名为安全潜在扩散（SLD）的图像噪声过滤方法，从而通过包含不恰当的图像提示的实际图像 - 文本提示解决了这些问题。经过详尽的实证评估表明，SLD 能够在扩散过程中去除不恰当的图像部分，不需要额外的培训，并且对图像质量或文本对齐没有负面影响。

Nov, 2022

CONCH 是一个基于多种来源的组织病理学图像、生物医学文本和 117 万图像标题对的视觉语言基础模型，可在涉及组织病理学图像和文本的各种下游任务中实现最先进的性能，为机器学习基于工作流程提供极少或无需进一步监督微调的可能性。

Jul, 2023

LDMol 是一种新颖的潜在扩散模型，能够实现自然语言条件下的分子生成，并通过对比学习策略来提取化学信息特征空间，不仅在文本到分子生成基准测试中超过现有基准，还能进行零样本推理和相关任务如分子到文本检索和以文本为驱动的分子编辑，展示了它作为扩散模型的通用性。

May, 2024

应用扩散模型结合病灶特定的视觉和文本提示生成皮肤镜检测图像，相对于传统生成模型在图像质量和皮损分割性能上表现更优，SSIM 图像质量指标提高 9%，Dice 系数超过先前方法 5% 以上。

Oct, 2023