Jan, 2024

机器感知质量：评估严重有损压缩对音频和图像模型的影响

PDF
TL;DR神经数据压缩中，以机器为导向的压缩方式对于机器感知任务具有可行性，并且与深度相似度度量相关，在机器感知质量的发展中扮演重要角色。
neural data compressionmachine-oriented compressionlossy compressionmachine perception tasksdeep similarity metrics
发现论文，激发创造
  • 了解机器学习训练集中无损压缩的有效性

    对机器学习和人工智能在高性能计算中的应用，数据压缩对模型质量的影响以及现代有损压缩方法的优势进行了系统评估，指出了指导将来使用和设计有损压缩器的关键见解。

    Mar, 2024

  • 有损压缩用于无损预测

    本文利用无监督目标设计神经压缩器进行图像压缩，以满足具有数据增强特征的所有预测任务的高性能，实现了大幅度节省数据率的效果，同时不会降低下游分类性能。

    Jun, 2021

  • 重新思考无损压缩：速率 - 失真 - 感知之间的权衡

    通过采用 Blau & Michaeli 2018 年提出的感知质量的数学定义，研究了速率、失真和感知之间的三重权衡，我们证明了该三重权衡的几个基本属性，并在一个玩具 MNIST 例子上进行了可视化说明。

    Jan, 2019

  • 基于机器感知的图像压缩：分层生成方法

    本文介绍了一种层次生成式图像压缩模型，该模型支持多任务分析，通过学习感知图像压缩方法提供可压缩的紧凑表示，并实现高分辨率图像重建以及压缩率和感知性能的平衡。实验结果表明，该模型对于 RGB 基于方法可以降低 99.6% 的比特率并实现可比拟的分析结果。

    Apr, 2023

  • 关于感知有损压缩：感知重构成本及最优训练框架

    该研究提出了一种全新的训练框架，使用生成对抗网络（GAN）和优化过的编码器来实现在完美感知质量下给定比特率的最低均方误差（MSE）畸变。

    Jun, 2021

  • 深度学习中 JPEG 压缩缺陷的分析和缓解

    本文研究了 JPEG 压缩对常见计算机视觉任务和数据集的影响，发现高度压缩会显著损害图像识别性能，进而尝试采取几种方法来缓解该损害，其中包括一种不需标签训练的基于伪影校正的新方法。

    Nov, 2020

  • 深层感知压缩

    本文探讨了深度学习压缩技术中常用的 MS-SSIM 和 MSE 误差函数与人类感知之间的关系，提出了 Deep Perceptual Compression 技术，通过在深度感知指标和 MS-SSIM 之间进行联合优化，相比先前的学习压缩方法和 JPEG-2000 具有更好的视觉效果，并且在目标检测等任务中表现更好。

    Jul, 2019

  • 高保真神经图像压缩的语义集成损失和潜在精炼

    该研究提出了一种改进的神经压缩方法，通过使用复杂的语义集成损失、潜在精细化过程和优化可视保真度的目标，显著提高了神经图像压缩的统计保真度，并在 CLIC2024 验证集上相较于 MS-ILLM 在 FID 指标下实现了 62% 的比特率节省。

    Jan, 2024

  • 视觉识别模型对图像压缩是否具有鲁棒性？

    本文研究图像压缩对图像分类、目标检测及语义分割等三种视觉识别任务准确性的影响。研究采用传统编解码器及最新的神经压缩方法进行实验，探究压缩比从 0.1 到 2bpp 下的识别准确度。实验发现，在强压缩下，三个任务的识别准确度都会受到显著影响。通过在压缩的训练图像上对识别模型进行微调，可以从一定程度上恢复性能损失。

    Apr, 2023

  • 探索压缩图像表示作为感知代理：一项研究

    我们提出了一种端到端学习的图像压缩编解码器，其中分析变换与目标分类任务同时训练。该研究证实，压缩的潜在表示能够以与定制的基于深度神经网络的质量指标相媲美的准确性预测人的感知距离判断。我们进一步研究了各种神经编码器，并展示了将分析变换作为超出质量判断之外的图像任务的感知损失网络的有效性。我们的实验表明，现成的神经编码器在感知建模方面表现出色，无需额外的 VGG 网络。我们期望这项研究能够成为开发语义感知和编码高效的神经编码器的有价值参考。

    Jan, 2024