Mar, 2024

利用边缘信息学习的机器图像编码

PDF
TL;DR图像编码是图像识别中的一种图像压缩技术，本文提出了一种名为 SA-ICM 的方法，其关注对象图像部分的边缘信息的编码和解码，该方法可用于各种图像识别模型，具有数据变化的鲁棒性，并从隐私角度提供保护。此外，SA-ICM 方法还可应用于训练用于视频压缩的 NeRV 模型，通过使用 Segment Anything 创建的边缘信息，可以创建适用于图像识别的 NeRV 模型（SA-NeRV）。实验结果证实 SA-ICM 在图像压缩方面的优势，并且 SA-NeRV 在机器的视频压缩中优于普通的 NeRV。
发现论文，激发创造
  • 基于目标区域学习的机器图像编码

    通过深度学习，我们提出了一种学习对象区域的图像压缩模型，它不需要额外的信息作为输入，并且可以适用于不同的图像识别模型。

    Aug, 2023

  • 缩小图像编码与人类之间的差距

    图像编码技术旨在降低图像表示所需的比特率，同时最大程度地减少机器视觉分析准确性的下降。本研究提出了一种基于对抗训练的有效解码器微调方案，以显著提高图像编码技术的视觉质量，同时保持机器分析准确性，无需在推理阶段增加额外的比特率或参数。实验结果表明，在忽略任务性能分数相对变化 - 1.6% 的情况下，完全消除了棋盘格伪影。对于一些可容忍某些伪影的情况，例如机器消费是主要目标的情况，该技术可以提高像素保真度和特征保真度分数，同时不影响任务性能。

    Jan, 2024

  • 通过辅助损失优化编码器提高机器图像编码

    通过辅助损失训练编码器以提升其识别能力和速率失真性能的一种新型学习图像编码方法，相较于传统训练方法，在物体检测和语义分割任务中分别实现了 27.7% 和 20.3% 的 Bjontegaard Delta 速率改进。

    Feb, 2024

  • 全能特征学习的机器图像编码

    本文提出了一种名为 Omni-ICM 的 Image Coding for Machines 框架，通过自我监督学习和信息筛选模块，学习了通用且紧凑的全能特征，可直接用于基于学习的编解码器支持人工智能任务分析。与传统编码器和基于学习的编解码器相比，Omni-ICM 在多个基础视觉任务上表现出更好的性能。

    Jul, 2022

  • VVC+M: 人机插拔式可扩展图像编码

    提出了一种利用视频编解码器中的残差编码能力创建可扩展编解码器的方法，这种方法能够提高现有的可扩展编解码器在机器任务方面的 RD 性能，同时在人类感知方面保持竞争性。

    May, 2023

  • 机器图像编码：一种端到端学习方法

    本研究设计了一种基于神经网络的端到端学习的机器目标图像编解码器，通过一系列训练策略，解决了计算机视觉任务损失、图像失真损失和数据率损失之间竞争的问题，并在目标检测和实例分割任务中取得了比 VVC 标准更好的表现，是首个端到端学习的针对机器的图像编解码器。

    Aug, 2021

  • DeepSIC：深度语义图像压缩

    本文提出一种名为 Deep Semantic Image Compression (DeepSIC) 的概念，提出两种新颖的架构，旨在重构压缩图像并同时生成相应的语义表示。在编码过程中，第一架构通过将一部分比特保留在压缩编码中存储语义表示进行语义分析。第二种在解码过程中使用嵌入到压缩码中的特征映射进行语义分析。通过在公开数据集上进行实验，验证本文的方法，并对所提出技术的优缺点进行了彻底分析。

    Jan, 2018

  • EGIC：由语义分割指导的增强低比特率生成图像压缩

    本研究提出了一种新的生成图像压缩方法：EGIC。该方法能够从单一模型有效地穿越失真 - 感知曲线，并提出了一种隐式编码的图像插值变体，通过预测均方误差优化和 GAN 优化解码器输出之间的残差来控制基于 GAN 的重建结果，性能优于多种以感知或失真为导向的比较方法，并几乎与失真端的 VTM-20.0 相媲美。EGIC 实现简单、非常轻量级，并具有出色的插值特性，是应用于低比特范围的实际应用中有很大潜力的候选方法。

    Sep, 2023

  • 将 “Promoting Segment Anything Model towards Highly Accurate Dichotomous Image Segmentation” 翻译为专业简体中文

    通过输入「Segment Anything Model」（SAM）的简单提示框，并将 SAM 的结果输出作为 IS5Net 的输入，可以极大地提高高精度的二元图像分割的效果。

    Dec, 2023

  • Prompt-ICM：一种面向任务驱动提示的机器图像编码统一框架

    本研究提出了一个新的图像编码框架 (Prompt-ICM)，通过学习任务驱动提示来协调压缩过程和下游分析，解决了压缩策略的调整和压缩特征的任务适应性两个核心挑战，进而以高压缩效率支持不同的智能任务。

    May, 2023