Jun, 2024

面部图像合成的特征提取网络分析

PDF
TL;DR对于评估人脸图像生成的真实性，研究人员关注生成对抗网络等新技术的进展，本研究通过调查不同特征提取器（InceptionV3、CLIP、DINOv2 和 ArcFace）的行为，考虑多种指标（FID、KID、Precision＆Recall）来评估生成图像的真实性，并对特征的深入分析包括 L2 归一化、模型关注机制和特征空间中的数据分布，旨在为评估人脸图像生成方法提供有价值的见解。
face image synthesisevaluation criteriafeature extractorsbenchmarkingimage realism
发现论文，激发创造
  • 医学影像中弗雷歇距离计算中特征提取的重要性

    比较了在医学图像中计算 Fréchet 距离（FD）的最先进特征提取器，并通过可视图灵测试将人类评估的生成质量与使用 ImageNet 训练的 InceptionV3、ResNet50、SwAV、DINO 和 Swin Transformer 架构以及大规模医学数据集 RadImageNet 训练的 InceptionV3 网络计算的 FD 进行比较。所有基于 ImageNet 的提取器之间保持一致，但只有 SwAV 与医学专家判断显著相关。RadImageNet-based FD 表现不稳定且缺乏与人类判断的相关性。建议在计算 FD 时谨慎使用经过医学图像训练的提取器，并对其在考虑的成像模式上进行严格评估并公开发布。基于 ImageNet 的提取器虽然不完美，但一致且广泛理解。使用 SwAV 训练提取器是评估合成医学图像的有希望的方法。

    Nov, 2023

  • 使用高阶矩来评估 GAN 生成的图像特征质量

    探索了基于图像特征数据的高斯分布的假设并通过定义新的测量方法，即偏度内插距离（SID），来扩展既定评估标准 Fréchet Inception Distance（FID）。数值实验结果表明，SID 在评估 ImageNet 数据的图像特征时要么与 FID 保持一致，要么更贴近人类感知。

    Oct, 2023

  • 关于理解深度特征空间在人脸生成评估中的作用

    通过对人脸图像的深度特征空间进行研究，我们发现 Fréchet Inception Distance 指标明显受特征空间数据集和目标函数影响，建议在使用生成模型时考虑多个特征空间并使用经过调整的特征空间。

    May, 2023

  • 生成对抗网络中 FID 和 SID 指标的评估

    使用公共数据集对图像处理中的生成对抗网络（GAN）模型进行训练和评估，发现使用 SID 指标能够有效衡量模型的生成性能，超过或者与使用 FID 指标相当。

    Feb, 2024

  • 重新思考 FID：为图像生成提供更好的评估度量

    FID 作为生成图像的主要质量度量标准存在一些问题，我们提出了一个基于更丰富的 CLIP 嵌入和最大均值差异距离的高斯 RBF 核的新的替代度量标准 CMMD，通过实验证明 FID 评估文本到图像模型的可靠性较低，而 CMMD 则提供了更强大和可靠的图像质量评估方法。

    Nov, 2023

  • DeepFeatureX Net: 基于深度特征提取网络的合成图像与真实图像区分

    基于三个块的新型方法，通过提取具有分辨力的特征来区分不同类型的图像，进而解决深度学习算法生成的合成图像在数字取证领域中的挑战，实验证明该方法在 JPEG 压缩和泛化测试方面具有良好的鲁棒性并超越了现有方法。

    Apr, 2024

  • ImageNet 类别在 Fréchet Inception 距离中的作用

    通过对 Fréchet Inception Distance 的调查，我们发现它容易受到人为或意外扭曲的影响。在一个意外的案例中，一个经过 ImageNet 预训练的 FastGAN 可以实现与 StyleGAN2 相当的 FID，但它在人类评估方面表现更差。

    Mar, 2022

  • 揭示生成模型评估指标的缺陷及其不公平对待传播模型

    本研究旨在系统研究各种基于图像的生成模型，通过在人类感知上度量图像逼真度，发现现有指标与人类感知存在巨大差距；同时也发现现有指标无法适当检测到模型对数据的记忆现象；针对这些问题，我们提出了一种更可靠的特征提取器，并且释放了全部生成的图像数据集、人类评估数据以及计算 16 种公共指标的模块化库，以便更好地促进生成模型的发展和评估。

    Jun, 2023

  • 面部图像特征分析及其在 Fréchet 距离和邻近性上的专业化应用

    评估图像和图像数据集之间的距离是视觉研究中的一个基本任务。本文针对普遍用于评估距离的 Fréchet Inception Distance 方法在最新研究中受到的批评，通过基于自监督学习方法对特定领域的图像进行特征训练，并对其对特征距离的影响进行分析。通过大量实验和深入的用户研究，提供了在人脸图像领域的特定领域专业化对 Fréchet 距离和图像邻域的发现和见解。

    Jun, 2024

  • 利用中间编码块的表示来进行合成图像检测

    通过利用中间转换器块提取的图像表示，在可学习的伪造感知向量空间中实现高度泛化的轻量级网络，该网络能编码低级视觉信息，对图片完整性和安全性提出了改进并取得显著性能提升。

    Feb, 2024