Aug, 2021

机器图像编码：一种端到端学习方法

PDF
TL;DR本研究设计了一种基于神经网络的端到端学习的机器目标图像编解码器，通过一系列训练策略，解决了计算机视觉任务损失、图像失真损失和数据率损失之间竞争的问题，并在目标检测和实例分割任务中取得了比 VVC 标准更好的表现，是首个端到端学习的针对机器的图像编解码器。
deep learningcomputer vision systemsneural networkimage codecmachine-targeted
发现论文，激发创造
  • 机器端到端优化的图像压缩研究

    本文提出了一种基于神经网络的编解码及任务模型的联合训练方法，用于实现远程机器任务分析的图像压缩，研究表明，进行编解码和任务网络的联合优化可以显著提高任务准确性，在训练和部署的限制下，可以选择性地进行编码器、解码器或任务网络的微调，并仍然实现高于现成解决方案的速率和准确度。

    Nov, 2020

  • NN-VVC：通过自我监督学习的图像编码来增强通用视频编码能力

    本研究提出了一种名为 NN-VVC 的混合编解码器，结合了 E2E-learned 图像编解码器和传统视频编解码器 (CVC)，在图像和视频编码领域为机器实现高性能。实验证明，该系统在多个数据集和机器视觉任务上较 VVC 实现了高达 - 43.20% 和 - 26.8% 的 Bjøntegaard Delta 速率减小。据我们所知，这是第一篇在多个数据集和多个机器视觉任务上展示了优于 VVC 的混合视频编解码器的研究论文。

    Jan, 2024

  • 面向人类和机器的学习式可扩展视频编码

    我们提出了一种全新的视频编码系统，基于条件编码的概念构建，其基础层支持机器视觉任务，而其增强层支持人类视觉重建，实验证明在基础层上，我们的框架优于现有的学习型视频编码和传统视频编码，并且在增强层上有可比性的性能。

    Jul, 2023

  • 可扩展的人机图像编码

    研究了一种可扩展的学习图像编解码器，其潜在空间设计支持从简单到复杂的任务，旨在节省机器视觉任务的比特率，同时在输入重建方面与先进的图像编解码器相当。

    Jul, 2021

  • 缩小图像编码与人类之间的差距

    图像编码技术旨在降低图像表示所需的比特率，同时最大程度地减少机器视觉分析准确性的下降。本研究提出了一种基于对抗训练的有效解码器微调方案，以显著提高图像编码技术的视觉质量，同时保持机器分析准确性，无需在推理阶段增加额外的比特率或参数。实验结果表明，在忽略任务性能分数相对变化 - 1.6% 的情况下，完全消除了棋盘格伪影。对于一些可容忍某些伪影的情况，例如机器消费是主要目标的情况，该技术可以提高像素保真度和特征保真度分数，同时不影响任务性能。

    Jan, 2024

  • 基于深度卷积神经网络学习虚拟编解码器用于图像压缩

    本研究提出一种基于卷积神经网络的端到端图像压缩框架，通过特征描述神经网络获取低维有效描述，借助标准图像编解码器进一步压缩图像后，再通过后处理神经网络消除失真和压缩留痕，最终通过虚拟编解码器神经网络通过反向传播优化整个系统。实验结果表明该方法在极低比特率下比当前现有算法性能更优。

    Dec, 2017

  • 可扩展的视频编码，为人类和机器而设计

    本文提出了一种可扩展的视频编码框架，该框架通过基础层比特流支持机器视觉（特别是物体检测）和增强层比特流支持人类视觉，并且结果表明，该框架在物体检测方面比最先进的视频编解码器节省 13-19％的比特率，同时在人类视觉任务的 MS-SSIM 方面保持有竞争力。

    Aug, 2022

  • 面向内容的学习图像压缩

    本文提出一种内容导向的图像压缩方法，该方法采用不同的策略处理不同类型的图像内容，并在实验中展现出与最先进的端到端图像压缩方法或经典方法相媲美的主观结果。

    Jul, 2022

  • VVC+M: 人机插拔式可扩展图像编码

    提出了一种利用视频编解码器中的残差编码能力创建可扩展编解码器的方法，这种方法能够提高现有的可扩展编解码器在机器任务方面的 RD 性能，同时在人类感知方面保持竞争性。

    May, 2023

  • 学习图像压缩中的增强可逆编码技术

    本文提出了一种基于可逆神经网络（INNs）的 Invertible Encoding Network 方法来构建更好的图像空间和潜在特征空间之间的转换，并在 Kodak、CLIC 和 Tecnick 数据集上证明了该方法在高分辨率图像方面优于现有的学习图像压缩方法和压缩标准（包括 VVC (VTM 12.1)）的实验结果。

    Aug, 2021