Jun, 2024

用于机器视频编码的竞争学习实现内容特定滤波器

PDF
TL;DR通过优化内容特定的后处理滤波器，将面向人类的视频 / 图像编解码器调整为适用于机器视觉任务的编解码器，并且通过竞争学习原理，提出了一种基于模拟退火优化技术的训练策略，该策略以模糊方式动态地分配训练样本给滤波器，使用温度变量的 softmax 函数作为权重分配函数。评估实验结果表明，通过我们提出的策略训练的内容特定滤波器，在块状图像处理时相较于独立训练的滤波器，在物体检测和实例分割任务中，相比之下，较独立训练的滤波器能够提高 BD-rate 约为 - 42.3% 和 - 44.7%，并且滤波器使用的统计数据支持我们的假设，强调了同时优化内容和重构质量的滤波器的重要性，这些发现为进一步提高视频 / 图像编解码器的性能铺平了道路。
optimizing content-specific post-processing filtersmachine vision taskscompetitive learning principlessoftmax functionversatile video coding (vvc) codec framework
发现论文，激发创造
  • NN-VVC：通过自我监督学习的图像编码来增强通用视频编码能力

    本研究提出了一种名为 NN-VVC 的混合编解码器，结合了 E2E-learned 图像编解码器和传统视频编解码器 (CVC)，在图像和视频编码领域为机器实现高性能。实验证明，该系统在多个数据集和机器视觉任务上较 VVC 实现了高达 - 43.20% 和 - 26.8% 的 Bjøntegaard Delta 速率减小。据我们所知，这是第一篇在多个数据集和多个机器视觉任务上展示了优于 VVC 的混合视频编解码器的研究论文。

    Jan, 2024

  • 机器图像编码：一种端到端学习方法

    本研究设计了一种基于神经网络的端到端学习的机器目标图像编解码器，通过一系列训练策略，解决了计算机视觉任务损失、图像失真损失和数据率损失之间竞争的问题，并在目标检测和实例分割任务中取得了比 VVC 标准更好的表现，是首个端到端学习的针对机器的图像编解码器。

    Aug, 2021

  • 可扩展的视频编码，为人类和机器而设计

    本文提出了一种可扩展的视频编码框架，该框架通过基础层比特流支持机器视觉（特别是物体检测）和增强层比特流支持人类视觉，并且结果表明，该框架在物体检测方面比最先进的视频编解码器节省 13-19％的比特率，同时在人类视觉任务的 MS-SSIM 方面保持有竞争力。

    Aug, 2022

  • 机器视觉视频编码：协作压缩和智能分析的典范

    本文旨在探讨机器视觉中的视频编码新领域 ——Video Coding for Machines (VCM)，并系统地回顾了从 MPEG 标准化的独特视角出发的视频压缩和特征压缩的最新技术。最终提出了潜在的 VCM 解决方案，并探讨了未来的方向。

    Jan, 2020

  • HEVC 基础编码中的卷积神经网络后处理方法

    本文提出了一种基于卷积神经网络的后处理算法用于高效视频编码，相较于 HEVC 基线平均比特率减少了 4.6％，并在实现更高的比特率降低，更低的内存成本和更快的计算速度方面优于以前研究的网络。

    Aug, 2016

  • 高视觉保真度学习视频压缩

    通过设计自信度基于的特征重建方法和周期性补偿损失，本文提出了一种新颖的高视觉保真度学习视频压缩框架 (HVFVC)，以解决学习视频压缩中的重建问题和优化缺陷，实现了出色的感知质量，并仅需占最新 VVC 标准的 50% 比特率。

    Oct, 2023

  • LVVC：用于高效人机视觉的学习通用视频编码框架

    Versatile video coding framework is proposed to learn compact representations for both human and machine vision, featuring a feature-based compression loop and cross-domain motion encoder/decoder, with evaluation results showing its compression efficiency on different video tasks with benchmark datasets.

    Jun, 2023

  • 利用视频编码知识进行深度视频增强

    本文提出了一种新的框架，利用视频压缩的低延迟配置和上下文自适应视频融合方法，提高 BasicVSR ++ 方法的质量，已在 NTIRE22 挑战中得到验证，并在定量指标和视觉质量方面与之前的方法相比均有所提高。

    Feb, 2023

  • 端到端可学习的多尺度特征压缩技术适用于视觉编码器

    提出了一种新颖的多尺度特征压缩方法，并结合可学习的压缩器和多尺度特征融合网络实现端到端的优化，以及轻型编码器的设计。该方法在对象检测中取得了着眼的性能提升，并且在仅保留 0.002-0.003% 未压缩特征数据量的情况下，仍可以实现接近无损的性能。

    Jun, 2023

  • 采用对比度减弱的物体检测 VVC 扩展方案

    本文介绍了一种基于 Versatile Video Coding 的视频编码方案，用于物体检测，通过减小图像尺寸和对比度的方式实现了更好的编码性能和物体检测精度。

    May, 2023