Apr, 2023

视觉识别模型对图像压缩是否具有鲁棒性？

PDF
TL;DR本文研究图像压缩对图像分类、目标检测及语义分割等三种视觉识别任务准确性的影响。研究采用传统编解码器及最新的神经压缩方法进行实验，探究压缩比从 0.1 到 2bpp 下的识别准确度。实验发现，在强压缩下，三个任务的识别准确度都会受到显著影响。通过在压缩的训练图像上对识别模型进行微调，可以从一定程度上恢复性能损失。
image compressionvisual recognitionneural compressionobject detectionsemantic segmentation
发现论文，激发创造
  • 有损压缩用于无损预测

    本文利用无监督目标设计神经压缩器进行图像压缩，以满足具有数据增强特征的所有预测任务的高性能，实现了大幅度节省数据率的效果，同时不会降低下游分类性能。

    Jun, 2021

  • 深度压缩图像解码无损图像理解

    该研究提出在深度神经网络图像压缩编码产生的图像压缩表示基础上直接进行图像分类、分割等理解任务，验证了这种方法可以大幅降低计算成本并保证相近的识别准确率，并且联合训练压缩网络和分类网络可以提高图像质量、分类精度和分割性能。

    Mar, 2018

  • 可辨识图像压缩

    本文提出了一种名为 Discernible Image Compression（DIC）的方法，旨在通过追求外观和感知一致性来生成高质量的压缩图像，并利用经过预训练的 CNN 提取原始和压缩图像的特征，同时最小化特征分布之间的差异，实验结果表明使用该方法压缩的图像可被下游的视觉识别和检测模型良好识别。

    Feb, 2020

  • 压缩爆照：有损图像压缩对红外图像中可变尺寸物体检测的影响

    研究应用不同级别的 JPEG 压缩方法对红外波段图像进行无损压缩，并评估不同级别压缩对于三种深度学习 CNN 架构（Cascade-RCNN、FSAF 和 Deformable DETR）在不同尺寸目标检测中的影响，结果表明对于 tiny 和 small 的目标尺寸更为敏感，使用 Cascade R-CNN 模型处理未压缩数据得到的表现最优，最大平均精确度（mAP）为 0.823，在高压缩级别下使用压缩数据重新训练模型能够显著提高模型性能。

    May, 2022

  • 基于深度学习的显微图像压缩：实证研究

    利用经典和深度学习的图像压缩方法对基于深度学习的图像处理模型进行分析并比较，表明深度学习的压缩技术在 2D 情况下在保持预测准确性的同时显著优于传统方法，并对图像压缩对下游深度学习图像分析模型的影响进行评估。

    Nov, 2023

  • 利用图像的压缩学习表示进行语义分割

    本文提出了一种基于学习的压缩编解码器，来减少自动驾驶车辆数据的压缩解压缩带来的时延，并且还能用于对图像进行语义分割任务。

    Jul, 2023

  • 深度学习中 JPEG 压缩缺陷的分析和缓解

    本文研究了 JPEG 压缩对常见计算机视觉任务和数据集的影响，发现高度压缩会显著损害图像识别性能，进而尝试采取几种方法来缓解该损害，其中包括一种不需标签训练的基于伪影校正的新方法。

    Nov, 2020

  • 机器感知质量：评估严重有损压缩对音频和图像模型的影响

    神经数据压缩中，以机器为导向的压缩方式对于机器感知任务具有可行性，并且与深度相似度度量相关，在机器感知质量的发展中扮演重要角色。

    Jan, 2024

  • 挖掘微比特每像素下语义图像压缩的极限

    本研究使用 GPT-4V 和 DALL-E3 探索图像压缩的质量 - 压缩性能边界，并通过介绍迭代反射过程改善解码图像，将语义压缩推到 100 μbpp（比 JPEG 小了 10,000 倍）。进一步假设这个 100 μbpp 水平代表标准图像分辨率下语义压缩的一个软限制。

    Feb, 2024

  • 超低比特率下实现完美真实感的图像压缩

    通过使用迭代扩散模型进行解码，同时结合全局文本图像描述来提供额外的上下文，我们的模型在极低比特率下能够重建逼真的图像，其视觉质量不仅与以往方法相媲美，而且对比特率的依赖性更低。

    Oct, 2023