Jan, 2024

缩小图像编码与人类之间的差距

PDF
TL;DR图像编码技术旨在降低图像表示所需的比特率，同时最大程度地减少机器视觉分析准确性的下降。本研究提出了一种基于对抗训练的有效解码器微调方案，以显著提高图像编码技术的视觉质量，同时保持机器分析准确性，无需在推理阶段增加额外的比特率或参数。实验结果表明，在忽略任务性能分数相对变化 - 1.6% 的情况下，完全消除了棋盘格伪影。对于一些可容忍某些伪影的情况，例如机器消费是主要目标的情况，该技术可以提高像素保真度和特征保真度分数，同时不影响任务性能。
发现论文，激发创造
  • 通过辅助损失优化编码器提高机器图像编码

    通过辅助损失训练编码器以提升其识别能力和速率失真性能的一种新型学习图像编码方法，相较于传统训练方法，在物体检测和语义分割任务中分别实现了 27.7% 和 20.3% 的 Bjontegaard Delta 速率改进。

    Feb, 2024

  • VVC+M: 人机插拔式可扩展图像编码

    提出了一种利用视频编解码器中的残差编码能力创建可扩展编解码器的方法，这种方法能够提高现有的可扩展编解码器在机器任务方面的 RD 性能，同时在人类感知方面保持竞争性。

    May, 2023

  • 基于目标区域学习的机器图像编码

    通过深度学习，我们提出了一种学习对象区域的图像压缩模型，它不需要额外的信息作为输入，并且可以适用于不同的图像识别模型。

    Aug, 2023

  • 机器图像编码：一种端到端学习方法

    本研究设计了一种基于神经网络的端到端学习的机器目标图像编解码器，通过一系列训练策略，解决了计算机视觉任务损失、图像失真损失和数据率损失之间竞争的问题，并在目标检测和实例分割任务中取得了比 VVC 标准更好的表现，是首个端到端学习的针对机器的图像编解码器。

    Aug, 2021

  • 利用边缘信息学习的机器图像编码

    图像编码是图像识别中的一种图像压缩技术，本文提出了一种名为 SA-ICM 的方法，其关注对象图像部分的边缘信息的编码和解码，该方法可用于各种图像识别模型，具有数据变化的鲁棒性，并从隐私角度提供保护。此外，SA-ICM 方法还可应用于训练用于视频压缩的 NeRV 模型，通过使用 Segment Anything 创建的边缘信息，可以创建适用于图像识别的 NeRV 模型（SA-NeRV）。实验结果证实 SA-ICM 在图像压缩方面的优势，并且 SA-NeRV 在机器的视频压缩中优于普通的 NeRV。

    Mar, 2024

  • 机器端到端优化的图像压缩研究

    本文提出了一种基于神经网络的编解码及任务模型的联合训练方法，用于实现远程机器任务分析的图像压缩，研究表明，进行编解码和任务网络的联合优化可以显著提高任务准确性，在训练和部署的限制下，可以选择性地进行编码器、解码器或任务网络的微调，并仍然实现高于现成解决方案的速率和准确度。

    Nov, 2020

  • 全能特征学习的机器图像编码

    本文提出了一种名为 Omni-ICM 的 Image Coding for Machines 框架，通过自我监督学习和信息筛选模块，学习了通用且紧凑的全能特征，可直接用于基于学习的编解码器支持人工智能任务分析。与传统编码器和基于学习的编解码器相比，Omni-ICM 在多个基础视觉任务上表现出更好的性能。

    Jul, 2022

  • Prompt-ICM：一种面向任务驱动提示的机器图像编码统一框架

    本研究提出了一个新的图像编码框架 (Prompt-ICM)，通过学习任务驱动提示来协调压缩过程和下游分析，解决了压缩策略的调整和压缩特征的任务适应性两个核心挑战，进而以高压缩效率支持不同的智能任务。

    May, 2023

  • 可扩展的人机图像编码

    研究了一种可扩展的学习图像编解码器，其潜在空间设计支持从简单到复杂的任务，旨在节省机器视觉任务的比特率，同时在输入重建方面与先进的图像编解码器相当。

    Jul, 2021

  • 机器视觉视频编码：协作压缩和智能分析的典范

    本文旨在探讨机器视觉中的视频编码新领域 ——Video Coding for Machines (VCM)，并系统地回顾了从 MPEG 标准化的独特视角出发的视频压缩和特征压缩的最新技术。最终提出了潜在的 VCM 解决方案，并探讨了未来的方向。

    Jan, 2020