面部图像特征分析及其在 Fréchet 距离和邻近性上的专业化应用

Jun, 2024

面部图像特征分析及其在 Fréchet 距离和邻近性上的专业化应用

Facial Image Feature Analysis and its Specialization for Fréchet Distance and Neighborhoods

Doruk Cetin, Benedikt Schesch, Petar Stamenkovic, Niko Benjamin Huber, Fabio Zünd...

TL;DR评估图像和图像数据集之间的距离是视觉研究中的一个基本任务。本文针对普遍用于评估距离的 Fréchet Inception Distance 方法在最新研究中受到的批评，通过基于自监督学习方法对特定领域的图像进行特征训练，并对其对特征距离的影响进行分析。通过大量实验和深入的用户研究，提供了在人脸图像领域的特定领域专业化对 Fréchet 距离和图像邻域的发现和见解。

Abstract

Assessing distances between images and image datasets is a fundamental task in vision-based research. It is a challenging open problem in the literature and despite the criticism it receives, the most ubiquitous method remains the Fr\'echet Inception Distance. The Inception network is trained on a specific labeled dataset, ImageNet, which has caused the core

image distance fréchet inception distance self-supervision learning domain-specific feature training facial image domain

发现论文，激发创造

医学影像中弗雷歇距离计算中特征提取的重要性

比较了在医学图像中计算 Fréchet 距离（FD）的最先进特征提取器，并通过可视图灵测试将人类评估的生成质量与使用 ImageNet 训练的 InceptionV3、ResNet50、SwAV、DINO 和 Swin Transformer 架构以及大规模医学数据集 RadImageNet 训练的 InceptionV3 网络计算的 FD 进行比较。所有基于 ImageNet 的提取器之间保持一致，但只有 SwAV 与医学专家判断显著相关。RadImageNet-based FD 表现不稳定且缺乏与人类判断的相关性。建议在计算 FD 时谨慎使用经过医学图像训练的提取器，并对其在考虑的成像模式上进行严格评估并公开发布。基于 ImageNet 的提取器虽然不完美，但一致且广泛理解。使用 SwAV 训练提取器是评估合成医学图像的有希望的方法。

Nov, 2023

关于理解深度特征空间在人脸生成评估中的作用

通过对人脸图像的深度特征空间进行研究，我们发现 Fréchet Inception Distance 指标明显受特征空间数据集和目标函数影响，建议在使用生成模型时考虑多个特征空间并使用经过调整的特征空间。

May, 2023

ImageNet 类别在 Fréchet Inception 距离中的作用

通过对 Fréchet Inception Distance 的调查，我们发现它容易受到人为或意外扭曲的影响。在一个意外的案例中，一个经过 ImageNet 预训练的 FastGAN 可以实现与 StyleGAN2 相当的 FID，但它在人类评估方面表现更差。

Mar, 2022

使用高阶矩来评估 GAN 生成的图像特征质量

探索了基于图像特征数据的高斯分布的假设并通过定义新的测量方法，即偏度内插距离（SID），来扩展既定评估标准 Fréchet Inception Distance（FID）。数值实验结果表明，SID 在评估 ImageNet 数据的图像特征时要么与 FID 保持一致，要么更贴近人类感知。

Oct, 2023

面部图像合成的特征提取网络分析

对于评估人脸图像生成的真实性，研究人员关注生成对抗网络等新技术的进展，本研究通过调查不同特征提取器（InceptionV3、CLIP、DINOv2 和 ArcFace）的行为，考虑多种指标（FID、KID、Precision＆Recall）来评估生成图像的真实性，并对特征的深入分析包括 L2 归一化、模型关注机制和特征空间中的数据分布，旨在为评估人脸图像生成方法提供有价值的见解。

Jun, 2024

重新思考 FID：为图像生成提供更好的评估度量

FID 作为生成图像的主要质量度量标准存在一些问题，我们提出了一个基于更丰富的 CLIP 嵌入和最大均值差异距离的高斯 RBF 核的新的替代度量标准 CMMD，通过实验证明 FID 评估文本到图像模型的可靠性较低，而 CMMD 则提供了更强大和可靠的图像质量评估方法。

Nov, 2023

图像增强的投影分布损失

本文研究使用从目标识别 CNNs 中获取的特征来衡量图像之间的感知相似度，并使用差分距离函数训练图像增强模型，并表明聚合 CNN 激活之间的 1D-Wasserstein 距离比现有方法更可靠，并且可以在各种成像应用中显著提高感知性能。

Dec, 2020

在深层特征空间中区分图像失真

本文探讨深度视觉表示能力在不同类型图像畸变中的表现，通过分析不同深度神经网络层所提取的特征，证明不同网络层具备分离不同畸变类型的能力，并评估特征在图像质量评估和畸变特征和严重性级别刻画上的应用，结果表明深度视觉表示具有有效地表征各种图像畸变的能力。

Feb, 2020

深度人脸识别：一项综述

本文全面回顾了深度人脸识别的最近发展，涵盖了算法设计、数据库、协议和应用场景等广泛主题，概述了不同的网络架构和损失函数，将相关的面部处理方法分为 “一对多增强” 和 “多对一归一化” 两类，并总结和比较了常用的数据库用于模型训练和评估，最后强调了技术挑战和几个有前途的方向。

Apr, 2018

可解释人脸识别的判别性深度特征可视化

本文提出了一种基于面部重建和视觉显著性的解释深度人脸识别决策的方法，通过产生表达输入面部相似和不相似区域的视觉显著性图，提供了有洞察力的解释，在实验证明所提出方法的有效性。

Jun, 2023