数据被高估：在训练数据缺失时，感知指标可能引导学习

Dec, 2023

数据被高估：在训练数据缺失时，感知指标可能引导学习

Data is Overrated: Perceptual Metrics Can Lead Learning in the Absence of Training Data

Tashi Namgyal, Alexander Hepburn, Raul Santos-Rodriguez, Valero Laparra, Jesus Malo

TL;DR通过使用感知度量标准进行训练，以改进模型对未知自然信号的泛化能力，我们展示了使用感知损失进行训练优于使用标准欧几里得损失的模型在测试时重构频谱图和重新合成音频的能力。

Abstract

perceptual metrics are traditionally used to evaluate the quality of natural signals, such as images and audio. They are designed to mimic the perceptual behaviour of human observers and usually reflect structures found in natural signals. This motivates their use as loss functions for

perceptual metrics quality evaluation generative models compressive autoencoder perceptual losses

发现论文，激发创造

机器感知质量：评估严重有损压缩对音频和图像模型的影响

神经数据压缩中，以机器为导向的压缩方式对于机器感知任务具有可行性，并且与深度相似度度量相关，在机器感知质量的发展中扮演重要角色。

Jan, 2024

听到的就是所看到的：从图像质量度量中获得音频质量指标

本文研究了使用最新的图像感知度量来评估音频信号的可行性，并通过将其表示为声谱图来进行评估。我们发现这种方法鼓励人们挖掘听觉和视觉通路的相似之处，并且还对一些基本度量进行了定制，以解决音频信号的特殊性。使用音乐数据集对自定义定制的度量和几个基线度量进行评估，并与人类评价者对音频质量的感知之间的相关性得出了令人满意的结果。

May, 2023

深度特征作为感知度量的不合理有效性

通过实验发现基于深度学习的图像处理方法中的感知相似度可以对大多数经典感知度量方法取得更加优秀的表现。该结论并不仅仅针对于在 ImageNet 数据集上训练的 VGG 特征，而是适用于训练于不同深度架构和不同的学习方式（监督、自监督、无监督）的特征提取器。

Jan, 2018

具有感知损失的扩散模型

通过引入自我知觉目标，将扩散模型训练中使用的有噪自动编码器目标与无监督感知网络训练中使用的去噪自动编码器目标关联，我们提出了一种新的扩散模型，可以生成更真实的样本，而不会牺牲样本多样性。

Dec, 2023

学习到的感知图像增强

本文提出了一种使用卷积神经网络的学习 no-reference image quality metric 来提高图像处理算子的感知质量的方法，从而优化图像增强算法，成功调整局部色调映射和去雾等多种操作。

Dec, 2017

一个非监督的信息理论感知质量评估度量

通过结合信息理论目标函数的最新进展和基于人类视觉系统的计算体系结构，以及对成对视频帧进行无监督训练，我们提出了感知信息度量（PIM），并在 BAPPS 图像质量评估数据集上证明 PIM 与监督度量相媲美，且在 CLIC 2020 的图像压缩方法排名预测方面优于监督度量，同时使用 ImageNet-C 数据集进行定性实验，证明 PIM 在架构细节方面具有鲁棒性。

Jun, 2020

关于感知有损压缩：感知重构成本及最优训练框架

该研究提出了一种全新的训练框架，使用生成对抗网络（GAN）和优化过的编码器来实现在完美感知质量下给定比特率的最低均方误差（MSE）畸变。

Jun, 2021

利用感知损失改进图像自编码器嵌入

本文从编码器嵌入的角度研究了感知损失的三个不同计算机视觉数据集的图像嵌入，发现与基于元素损失训练的自动编码器相比，基于感知损失训练的自动编码器生成的嵌入可以更准确地预测对象定位和分类。

Jan, 2020

感知得分：您的模型感知哪些数据模态？

本文提出了感知分数的概念，通过该指标对多模态数据集中的各种输入特征进行评估，发现最新的视觉问答或视觉对话多模态模型相较于它们的先驱越来越少重视视觉数据，这趋势引起了担忧，需要对此展开讨论并提出解决思路。

Oct, 2021

不使用训练或测试数据预测最先进神经网络质量趋势

该研究利用基于规范的容量控制指标和基于幂律的重尾自正则化理论的度量方法对数百个公开可用的预训练模型进行了详细的元分析，发现基于幂律的度量方法可以更好地区分预训练模型的良好培训和质量低劣的模型。

Feb, 2020