感知失真平衡的图像超分辨率是一种多目标优化问题
本文证明了图像修复算法中失真度(Distortion)和感知质量(perceptual quality)是对立的,并研究了正确判别图像修复算法输出与真实图像之间的最优概率,此概率需随均值失真程度的降低而逐渐增加,GAN提供了超越感知失真界限的原则方法。作者提出了一种新的评估算法质量的方法,并使用该方法对最近的超分辨率算法进行了广泛比较。
Nov, 2017
通过修改MGCP结构为一个生成系统,加入具有控制输出细节的输入参数,提出了一个具有新颖特性的鉴别器——多尺度、递归和包含一个新层以捕获自然影像的显著特征统计,并采用一种训练策略以避免重建和感知损失之间的冲突,成功在PIRM超分辨率挑战中取得2nd、5th、7th的好成绩,这在用了281k个参数和平均0.2s的处理时间之内完成功能。
Sep, 2018
本研究中,我们尝试使用生成对抗网络框架将SR网络EDSR作为生成器模块,通过结合均方误差损失、感知损失和对抗性损失训练我们的网络,以在失真和感知质量之间获得最佳权衡,从而实现更好的感官质量。
Nov, 2018
利用像素级的知觉损失优化高分辨率图像的生成,本研究使用基于深度卷积神经网络的解码器进行优化,通过对不同语义级别的标签惩罚来提高性能并考虑到背景和边界的纹理相似性,得到更逼真的纹理和更锐利的边缘,实验表明此方法的效果优于现有的其他算法。
Aug, 2019
本文旨在回答两个问题:(1)现有的图像质量评估方法是否能客观评估最近的图像修复(IR)算法?(2)在打破当前基准的重点下,我们是否获得了更好的IR算法?为了回答这些问题并推动IQA方法的发展,我们贡献了一个大规模的IQA数据集,称为感知图像处理算法(PIPAL)数据集。该数据集包括基于GAN的方法的结果。通过PIPAL,我们为IQA和超分辨方法提供了新的基准。实验表明,现有的IQA方法不能公平评估基于GAN的IR算法。最后,我们通过引入抗锯齿池化来改善IQA网络在基于GAN的扭曲上的性能,并取得了显著效果。
Jul, 2020
本文提出一种基于傅里叶域的感知质量强化的超分辨率图像重建方法,利用新型 Loss Function 提升低复杂度生成器网络的表现,以及在空间域和傅里叶域均应用不同 Loss Function 以提取不同信息。最终得出与 RankSRGAN 和 SRFlow 等最先进感知超分辨率方法相当的结果,并且比这些方法快 2.4 倍至 48 倍不等。
Jun, 2021
本文提出了一种新的单图像超分辨率(SISR)框架,该框架采用了适用于每个区域的最佳目标以生成整体区域的高分辨率输出,并在五个基准测试中取得了优异的结果。
Nov, 2022
通过集成梯度自由进化算法与基于梯度的Adam算法,构建了一个新的优化器,将超分辨率中的感知和失真权衡问题转化为多目标优化问题,并通过融合网络将不同感知-失真偏好的最佳模型合并为一个更强大的模型,实验表明,我们的方法训练得到的感知-失真平衡的超分辨率模型能够在感知质量和重建保真度方面优于竞争方法。
Dec, 2023
通过利用低分辨率图像和比例因子来评估图像超分辨率(SR)图像的感知质量和重建保真度,本研究提出了一种新颖的双分支减参考SR-IQA网络(PFIQA),其中感知分支利用Vision Transformer(ViT)和ResNet的全局建模和局部关系,结合比例因子实现综合视觉感知,而保真性分支通过视觉感知评估低分辨率和超分辨率图像之间的重建保真度,两个分支的结合与人类视觉系统高度契合,实现全面的SR图像评估。实验结果表明,PFIQA在三个广泛使用的SR-IQA基准测试中优于当前最先进的模型,特别在评估真实世界SR图像质量方面表现出色。
May, 2024
通过使用无参考图像质量评估方法作为感知损失,本文研究了几种视频超分辨率模型的直接优化,实验结果表明简单的优化方法会产生伪影,但特殊的训练过程可以减轻这些问题。
May, 2024