ImageNet 分类器是否更好地评估了感知相似度？

Mar, 2022

ImageNet 分类器是否更好地评估了感知相似度？

Do better ImageNet classifiers assess perceptual similarity better?

Manoj Kumar, Neil Houlsby, Nal Kalchbrenner, Ekin D. Cubuk

TL;DR该研究是一个大规模实证研究，旨在评估 ImageNet 分类器在感知相似性方面的表现。结果发现，尽管现代化的网络模型（如 ResNets、EfficientNets 和 Vision Transformers）在 ImageNet 分类方面表现良好，但它们在感知相似性上的表现较差。然而，该研究还发现，仅在 ImageNet 上训练少于 5 个时期的浅层 ResNets 和 ResNets 的感知得分，可与直接在监督人类感知判断上训练的最佳网络相匹配。

Abstract

Perceptual distances between images, as measured in the space of pre-trained deep features, have outperformed prior low-level, pixel-based metrics on assessing perceptual similarity. While the capabilities of older and less accurate models such as AlexNet and VGG to capture

发现论文，激发创造

深度特征作为感知度量的不合理有效性

通过实验发现基于深度学习的图像处理方法中的感知相似度可以对大多数经典感知度量方法取得更加优秀的表现。该结论并不仅仅针对于在 ImageNet 数据集上训练的 VGG 特征，而是适用于训练于不同深度架构和不同的学习方式（监督、自监督、无监督）的特征提取器。

Jan, 2018

深度感知度量用于图像质量评估的研究

本文研究了基于深度神经网络的知觉度量，用于评估图像质量，提出了一种多分辨率知觉量度（MR-Perceptual），在不同分辨率上聚合知觉信息，并在不同图像畸变的 IQ 任务中表现优于标准知觉量度。

Feb, 2022

使用感知相似度度量学习生成图像

通过使用 better calibrated to human perceptual judgments of image quality: the multiscale structural-similarity score (MS-SSIM) 进行训练而不是使用 pixel-wise loss (PL)，提出了更好的 perceptually-optimized methods，已被证明在三种不同的自动编码器中表现更好，可以在图像分类和超分辨率成像方面为计算机视觉带来极大的潜力。

Nov, 2015

鲁棒性是准确性的代价吗？—— 对 18 个深度图像分类模型鲁棒性的全面研究

本研究通过使用多个强健度和成功率等措施，在 306 个模型对之间全面测试了 18 个 ImageNet 模型，并揭示了若干新的见解：（1）在分类错误的对数下，经验 L2 和 L∞扭曲度量呈线性比例律；（2）模型架构比模型尺寸更重要；（3）对于相似的网络架构，略微增加网络深度可在 L∞扭曲度上提高强健性；（4）存在具有高度敌对可转性的模型，而从一个模型制造的大多数敌对示例仅可以在同一家族内转移。

Aug, 2018

基于深度网络的感知相似性度量生成图像

通过采用深度感知相似度测量（DeePSiM）来代替在图像空间中计算距离，我们的研究表明，此类损失函数能够更好地反映图像的感知相似度，从而减少图像平滑问题，并且在自编码器训练、变分自编码器的修改以及深度卷积网络的反演三种应用场景中表现出令人印象深刻的生成结果。

Feb, 2016

深度感知相似性在模糊环境下具有适应性

本文探讨使用神经网络的深度感知相似度度量方法在不同场景下的适应能力以及性能表现，并在采用六种图像畸变来定义不同场景的基础上对其进行评估。结果表明，在大多数情况下，使用预先训练的 CNN 中的深度特征进行训练可以高效地适应特定场景，并且性能表现良好。

Apr, 2023

ImageNet 模型的表现是否与迁移学习相关？

比较了 16 种分类网络在 12 个图像分类数据集上的性能表现，发现在使用网络作为固定特征提取器或微调时，ImageNet 准确度与转移学习准确度之间存在强烈的相关性，但是在微调时，ImageNet 的泛化能力较弱，获得了更差的特征。

May, 2018

深度表示为什么是良好的感知质量特征？

该研究分析了预训练卷积神经网络中的中间特征图如何提高感知质量，并提出了两种新的公式来评估深度 CNN 学习到的特征，发现使用这些特征能更好地预测人类质量判断，进一步展示了利用该方法来选择深度特征用于形成新的损失函数可以提高单图超分辨率问题的图像重构质量。

Dec, 2018

在深层特征空间中区分图像失真

本文探讨深度视觉表示能力在不同类型图像畸变中的表现，通过分析不同深度神经网络层所提取的特征，证明不同网络层具备分离不同畸变类型的能力，并评估特征在图像质量评估和畸变特征和严重性级别刻画上的应用，结果表明深度视觉表示具有有效地表征各种图像畸变的能力。

Feb, 2020

深度分类器一致性：分析学习顺序与图像统计之间的相关性

研究发现，虽然深度分类的建筑变体很多，但是最近的工作发现它们的训练过程存在相似之处，而神经网络不仅收敛到类似的表示，还表现出一种先学习哪些数据实例的经验性一致性。本文提出了一种度量特征分类协议关系的度量标准，并指出，该一致性现象可以映射到研究数据集的核心统计数据。作者经实验证实了这个假说，并应用于 CIFAR10、Pascal、ImageNet 和 KTH-TIPS2 数据集，发现这种一致性似乎与特定的体系结构、训练超参数或标签无关，但是按图像统计排序。

May, 2021