使用稳定扩散和人机协作注释生成真实的X射线散射图像
本文探讨使用神经扩散模型合成医学图像的可能性,结果表明扩散模型生成的图像可以翻译一些胸部X射线或CT图像中特定医学情况的特征,这是一项新的人工智能医学图像研究,展示了扩散模型在医学图像合成领域的潜力。
Nov, 2022
通过五个统计量计算的图像逼真度评分(IRS)是一个高效的图像逼真度度量,也可用作判断图像真实与否的指标。实验结果表明,IRS可以成功检测由多种高质量生成模型生成的假图像,并且可以通过改进模型的生成损失函数,显著提高生成内容的质量。
Sep, 2023
视觉计算领域因生成人工智能的出现而快速发展,介绍了扩散模型的基本数学概念、稳定扩散模型的实现细节和设计选择,以及包括个性化、条件设定、反转等在内的这些生成人工智能工具的重要方面的综述。此外,它还对基于扩散的生成和编辑的迅速增长的文献进行了全面的概述,按照生成介质的类型进行分类,其中包括2D图像、视频、3D对象、运动和4D场景。最后,我们讨论了可用的数据集、度量标准、开放性挑战和社会影响。这个综述为研究人员、艺术家和从业者提供了一个直观的起点来探索这个令人兴奋的主题。
Oct, 2023
利用 Stabile Diffusion 模型 (RoentGen) 对医学影像进行数据增强,并进行偏倚分析和幻像检测,结果发现生成的合成胸部X射线图像中存在分类偏差和幻像,指向了解释合成影像的新研究方向,以进一步理解相关风险和医学应用中的患者安全性。
Dec, 2023
通过准确的解剖学和病理定位控制,我们提出一种名为XReal的新型可控扩散模型,用于生成逼真的胸部X射线图像。我们的轻量级方法可以在预训练的文本到图像扩散模型中无需微调地无缝集成空间控制,保留其现有知识同时增强生成能力。XReal在定量和定性指标上优于最先进的X射线扩散模型,根据专家放射科医师评估,解剖和病理逼真性分别提高了13%和10%。我们的模型有望在医学成像中推进生成模型,提供更高的准确性和适应性,并在这个不断发展的领域引发进一步的探索。大规模合成生成的带有注释和代码的数据公开可用于 this https URL。
Mar, 2024
通过局部超出分布区域划分和分离图像生成过程,本研究提出了一个无需训练的扩散模型,有效减少图像幻觉和误诊,减少真实世界医学和自然图像数据集中的误诊率分别达到40%和25%,同时与各种预训练的扩散模型兼容。
Apr, 2024
由于扩散模型解码器的不连续损失面导致的中间插值现象,扩散模型在训练集中平滑地插值产生了完全不属于原始训练分布支持范围的样本(即幻觉),我们通过对高斯数据和各种形状的人工数据进行实验,展示了这种幻觉与形状组合生成之间的关联,并提出了一种简单的度量标准来识别幻觉,该度量标准能够在保留96%的原始样本的同时去除95%以上的幻觉。最后,我们通过在MNIST和2D高斯数据集上的实验,展示了幻觉及其去除对于合并训练的崩溃与稳定性的影响。
Jun, 2024
物理启发的生成模型,特别是扩散和泊松流模型,在医学成像中增强了贝叶斯方法,并有很大实用价值。本综述论文检查了这类生成方法的转变作用,首先回顾了各种物理启发的生成模型,包括去噪扩散概率模型(DDPM),基于分数的扩散模型以及泊松流生成模型(PFGM和PFGM++),着重介绍了它们的准确性、稳健性和加速度。接着,介绍了物理启发的生成模型在医学成像中的主要应用,包括图像重建、图像生成和图像分析。最后,对未来的研究方向进行了头脑风暴,包括物理启发的生成模型的统一化、与视觉语言模型(VLMs)的整合以及生成模型的潜在新应用。由于生成方法的发展迅速,本综述论文有望及时展示这个新型物理驱动生成模型家族并发挥它们在医学成像领域的巨大潜力,从而帮助同行和学习者对其有一个及时的了解。
Jul, 2024
本研究解决了因隐私和法规限制而获取患者数据困难的问题,提出通过基础模型生成合成医学影像的创新方法。通过应用潜在扩散模型,研究表明微调基础模型能够有效提高生成胸部X光片的质量与真实性,可能为医学影像生成领域带来重要影响。
Sep, 2024
本研究解决了扩散模型在生成复杂多物体组合时面临的效率和准确性问题。提出的新范式HEaD可以迅速识别生成过程中的错误,结合跨注意力图和预测最终图像的新指标,显著节省了计算资源并加快了生成过程,为提升生成模型性能提供了重要的洞见。研究发现,在生成两个物体的场景中,HEaD可节省多达12%的生成时间。
Sep, 2024