基于显著性驱动的感知图像压缩
本文探讨了深度学习压缩技术中常用的 MS-SSIM 和 MSE 误差函数与人类感知之间的关系,提出了 Deep Perceptual Compression 技术,通过在深度感知指标和 MS-SSIM 之间进行联合优化,相比先前的学习压缩方法和 JPEG-2000 具有更好的视觉效果,并且在目标检测等任务中表现更好。
Jul, 2019
我们提出了一种端到端学习的图像压缩编解码器,其中分析变换与目标分类任务同时训练。该研究证实,压缩的潜在表示能够以与定制的基于深度神经网络的质量指标相媲美的准确性预测人的感知距离判断。我们进一步研究了各种神经编码器,并展示了将分析变换作为超出质量判断之外的图像任务的感知损失网络的有效性。我们的实验表明,现成的神经编码器在感知建模方面表现出色,无需额外的 VGG 网络。我们期望这项研究能够成为开发语义感知和编码高效的神经编码器的有价值参考。
Jan, 2024
通过使用 better calibrated to human perceptual judgments of image quality: the multiscale structural-similarity score (MS-SSIM) 进行训练而不是使用 pixel-wise loss (PL),提出了更好的 perceptually-optimized methods,已被证明在三种不同的自动编码器中表现更好,可以在图像分类和超分辨率成像方面为计算机视觉带来极大的潜力。
Nov, 2015
通过在神经科学中建模感知皮层和生物系统中的高效编码假设,我们重新利用压缩潜在表示来优先考虑语义相关性,同时保留感知距离。我们提出的方法,压缩感知图像补丁相似度(CPIPS),可以从学习的神经编解码器以较低的成本进行计算,并且比基于深度神经网络的感知度量(如 LPIPS 和 DISTS)计算速度显著更快。
Oct, 2023
本文介绍了一种层次生成式图像压缩模型,该模型支持多任务分析,通过学习感知图像压缩方法提供可压缩的紧凑表示,并实现高分辨率图像重建以及压缩率和感知性能的平衡。实验结果表明,该模型对于 RGB 基于方法可以降低 99.6% 的比特率并实现可比拟的分析结果。
Apr, 2023
本研究论文提出并验证了一种使用基于变分自编码器的可端到端训练模型的图像压缩方法,其中使用了超先验来有效地捕获潜在表示中的空间依赖关系,证明该模型在使用 MS-SSIM 指标度量视觉质量时具有最先进的图像压缩性能,并提供了不同失真度指标的不同训练模型之间的定性比较。
Feb, 2018
应用深度学习的方法解决在损失图像和视频压缩中提高视觉质量的问题,通过训练一个特定的卷积神经网络,实现对图像语义的理解,并通过对每个对象训练特征的方式生成高质量的压缩图像。
Dec, 2016
通过结合信息理论目标函数的最新进展和基于人类视觉系统的计算体系结构,以及对成对视频帧进行无监督训练,我们提出了感知信息度量(PIM),并在 BAPPS 图像质量评估数据集上证明 PIM 与监督度量相媲美,且在 CLIC 2020 的图像压缩方法排名预测方面优于监督度量,同时使用 ImageNet-C 数据集进行定性实验,证明 PIM 在架构细节方面具有鲁棒性。
Jun, 2020
该研究提出了一种改进的神经压缩方法,通过使用复杂的语义集成损失、潜在精细化过程和优化可视保真度的目标,显著提高了神经图像压缩的统计保真度,并在 CLIC2024 验证集上相较于 MS-ILLM 在 FID 指标下实现了 62% 的比特率节省。
Jan, 2024