Sep, 2023

关于量化和改善扩散生成图像的逼真度

PDF
TL;DR通过五个统计量计算的图像逼真度评分（IRS）是一个高效的图像逼真度度量，也可用作判断图像真实与否的指标。实验结果表明，IRS 可以成功检测由多种高质量生成模型生成的假图像，并且可以通过改进模型的生成损失函数，显著提高生成内容的质量。
diffusion modelsrealism quantificationevaluation metricsimage realism scoreforensic image analysis
发现论文，激发创造
  • 揭示生成模型评估指标的缺陷及其不公平对待传播模型

    本研究旨在系统研究各种基于图像的生成模型，通过在人类感知上度量图像逼真度，发现现有指标与人类感知存在巨大差距；同时也发现现有指标无法适当检测到模型对数据的记忆现象；针对这些问题，我们提出了一种更可靠的特征提取器，并且释放了全部生成的图像数据集、人类评估数据以及计算 16 种公共指标的模块化库，以便更好地促进生成模型的发展和评估。

    Jun, 2023

  • 生成对抗网络质量度量的鲁棒性研究

    本文评估了生成模型质量测量的强度，指出 Inception Score 和 Fréchet Inception Distance 可被插入的噪点影响。作者还测试了最先进的 StyleGANv2 网络及其体系结构，并提供了一种增强版本的 FID 来减轻网络极度震荡的效果。

    Jan, 2022

  • 生成模型的可靠保真度和多样性度量

    本研究旨在寻找图像生成任务的指标评价方法，证明最近的精度和召回率指标并不可靠，并提出一种新的基于密度和覆盖率的评价指标，这些指标可以提供比现有指标更可靠的信息信号。

    Feb, 2020

  • 基于评分的生成模型实现逼真星系图像模拟

    利用去噪扩散概率模型（DDPM）生成逼真的模拟星系图像，并借鉴深度生成学习文献中的 Frechet Inception 距离和新引入的合成星系距离指标进行相似度比较和 Emergent 物理特性比较，其效果比其他生成方法（如对手网络）更为真实，可用于量身定制特定成像调查的大量合成观测数据，证实其精确插值和域转换方法的潜在用途，并在星际物理学领域推动了该主题的进一步研究。

    Nov, 2021

  • 推进生成模型评估：OCR 系统中逼真图像合成和比较的新算法

    本研究提出了一种新颖的算法，主要针对生成模型中合成图像的真实性进行客观评估。该算法通过改进 Fréchet Inception Distance（FID）得分，显著提高了评估方法的精确性，特别针对生成和评估阿拉伯手写数字的真实图像的挑战。我们的算法为此领域的 OCR 的发展奠定了基础，并为高质量合成图像的生成和评估设立了新的标准，从而不仅可以比较不同的生成模型，还为它们的设计和输出提供改进的途径。

    Feb, 2024

  • 微调扩散模型以提升文本到图像生成中的人脸质量

    通过评估现有度量标准并开发一种新的面部评分指标（Face Score），本研究提出了一种改进扩散模型以提高生成图像质量的方法。引入指导损失函数用于微调预训练的扩散模型，实验证实了该方法在提高面部质量的同时保持了其一般能力。

    Jun, 2024

  • 重新思考 FID：为图像生成提供更好的评估度量

    FID 作为生成图像的主要质量度量标准存在一些问题，我们提出了一个基于更丰富的 CLIP 嵌入和最大均值差异距离的高斯 RBF 核的新的替代度量标准 CMMD，通过实验证明 FID 评估文本到图像模型的可靠性较低，而 CMMD 则提供了更强大和可靠的图像质量评估方法。

    Nov, 2023

  • 揭示合成图像的实用性：不必完美也能出色

    深度生成模型生成的合成图像可以解决数据缺乏和数据隐私问题。然而，图像质量评估仅仅基于图像质量测量，并且绝大部分研究者更青睐于产生逼真的图像的合成模型，即具有良好保真度评分，例如低 FID 和高 PSNR 的图像。本研究通过分析超过 100k 张胸部 X 射线图像及其人工合成的副本，确认了保真度、多样性和隐私性之间不可避免的平衡问题，同时指出了保真度和多样性并非高效实用性的必要条件，实验表明，对于数据增强而言，高效实用性的图片也可以是模式坍塌图像和低保真度图像。此外，实验还表明，还可能生成既高效实用又隐私保护的图像，这可以为隐私保护应用中的深度生成模型提供强有力的理论支持。

    May, 2023

  • 利用 Conformer 和 Blind Noisy Students 来改进图像质量评估

    探索基于 transformer 的全参考图像质量评估模型的性能，并提出了一种基于半监督知识蒸馏的 IQA 方法，使用嘈杂的伪标签数据将全参考教师模型蒸馏到盲学生模型中。在 NTIRE 2022 感知图像质量评估挑战中，我们的方法取得了竞争力的结果。

    Apr, 2022

  • 基于扩散模型的图像补偿引导和视觉差异分析方法用于无参考图像质量评估

    使用扩散模型进行无参考图像质量评估的研究，开发了新的扩散恢复网络以及两个视觉评估分支，实验证明该模型在无参考图像质量评估中优于现有方法。

    Feb, 2024