衡量合成医疗图像全局一致性的指标
该研究通过实证评估了多尺度结构相似性指数测量、余弦距离和 Frechet Inception 距离等指标,对生物医学和非生物医学影像进行了多样性和质量评估,发现生物医学与非生物医学影像之间的多样性和质量得分存在显著差异。
Jul, 2023
通过使用对比式语言 - 图像预训练(CLIP)得出的平均语义一致性分数,本研究提出了一种解释性、定量的图像生成一致性评分,用于评估扩散模型的图像生成一致性,并发现了两种优秀的开源图像生成扩散模型 Stable Diffusion XL 和 PixArt-α 之间的显著差异。该文还研究了 SDXL 和经过 LoRA 精细调整的 SDXL 模型的一致性,并发现经过精细调整的模型在生成的图像的语义一致性方面显著提高。本文提出的语义一致性评分为图像生成对齐提供了度量方法,有助于评估特定任务的模型架构,并促进基于模型的决策制定。
Apr, 2024
深度生成模型生成的合成图像可以解决数据缺乏和数据隐私问题。然而,图像质量评估仅仅基于图像质量测量,并且绝大部分研究者更青睐于产生逼真的图像的合成模型,即具有良好保真度评分,例如低 FID 和高 PSNR 的图像。本研究通过分析超过 100k 张胸部 X 射线图像及其人工合成的副本,确认了保真度、多样性和隐私性之间不可避免的平衡问题,同时指出了保真度和多样性并非高效实用性的必要条件,实验表明,对于数据增强而言,高效实用性的图片也可以是模式坍塌图像和低保真度图像。此外,实验还表明,还可能生成既高效实用又隐私保护的图像,这可以为隐私保护应用中的深度生成模型提供强有力的理论支持。
May, 2023
本文提出了一个全新的知觉度量标准 DreamSim,通过人类相似度判断数据集的研究得出,该标准可以全面评估图片的相似性,更关注于前景物体和语义内容及对颜色和布局敏感,并且具有很好的一般性能。
Jun, 2023
图像到图像的转换在医学影像领域具有巨大影响,本研究介绍了用于图像合成评估的参考和非参考度量标准,并调查了九种需要参考的度量标准(SSIM、MS-SSIM、PSNR、MSE、NMSE、MAE、LPIPS、NMI 和 PCC)以及三种非参考度量标准(BLUR、MSN 和 MNG)对来自 BraSyn 数据集的 MR 图像的 11 种扭曲的检测能力。此外,还测试了下游分割度量标准和三种归一化方法(Minmax、cMinMax 和 Zscore)的影响。通过合理选择和结合图像相似性度量标准,可以改进用于 MR 图像合成的生成模型的训练和选择,在高成本的经过训练的放射科医生评估之前可以验证其输出的许多方面。
May, 2024
探索了无配对图像翻译技术在手术应用中生成具有语义一致性数据的可行性,并发现结构相似性损失和对比学习的简单组合方法取得了最有希望的结果。定量分析表明,使用这种方法生成的数据具有更高的语义一致性,可以更有效地用作训练数据。
Sep, 2023
通过卷积神经网络,构建了一种显式容忍纹理重采样的完全参考图像质量模型,利用纹理相似度和结构相似度结合来优化图像质量评估,在现有的数据库和纹理数据库上都表现出了具有竞争力的性能。
Apr, 2020
图像协调是处理医学图像中不同机器和扫描协议引起的领域转变的重要预处理策略。然而,由于缺乏广泛可用的标准数据集和基准,评估协调技术的有效性一直是一个挑战。在这个背景下,我们提出了三个指标:两个用于图像强度协调的指标和一个用于维持解剖结构的指标,无需基准。通过在一个具有可用协调基准的数据集上进行广泛研究,我们证明了我们的指标与已建立的图像质量评估指标相关。我们展示了这些新型指标如何应用于没有协调基准的实际情况,并提供了对度量值不同解释的见解,从而揭示了在协调过程中它们的重要性。根据我们的发现,我们倡导采用这些定量协调指标作为评估图像协调技术性能的标准。
Feb, 2024
该论文研究了深度神经网络模型训练中的计算机生成图像的真实性问题,使用对比度学习和硬负样本挖掘方法,实现了对计算机生成和真实图像之间的语义和结构一致性匹配,从而得到了最先进的性能表现。
Apr, 2023
本文通过实证研究代表性生成模型 GAN,深入分析了如何在特征空间中代表数据点、如何使用选定样本计算合理距离以及每组要使用多少个实例等问题。实验结果表明,基于 CNN 和 ViT 的架构都是可靠和稳健的特征提取器,CKA 能够在一种模型中跨越各种提取器和分层层次上产生更好的比较,而且在表征两个内部数据相关性之间的相似性方面,CKA 显示出令人满意的样本效率并补充了现有指标(例如 FID)。这些发现帮助我们设计了一个新的测量系统,以便在一致可靠的方式下重新评估了最先进的生成模型。
Apr, 2023