Nov, 2023

生成人脸视频编码技术和标准化工作：综述

PDF
TL;DRGenerative Face Video Coding (GFVC) techniques, which exploit facial priors and deep generative models, are comprehensively surveyed in this paper, including standardization efforts and their potential applications.
generative face video codinggfvc techniquesfacial priorsdeep generative modelsstandardization efforts
发现论文，激发创造
  • 面部视频压缩的感知质量评估：基准和有效方法

    本文介绍了大规模压缩人脸视频质量评估数据库的构建和性能评估，该数据库被认为是系统地理解人脸视频中感知质量和多样化压缩畸变的第一次尝试，同时还开发了 FAVOR 指数来度量人脸视频的感知质量。

    Apr, 2023

  • NN-VVC：通过自我监督学习的图像编码来增强通用视频编码能力

    本研究提出了一种名为 NN-VVC 的混合编解码器，结合了 E2E-learned 图像编解码器和传统视频编解码器 (CVC)，在图像和视频编码领域为机器实现高性能。实验证明，该系统在多个数据集和机器视觉任务上较 VVC 实现了高达 - 43.20% 和 - 26.8% 的 Bjøntegaard Delta 速率减小。据我们所知，这是第一篇在多个数据集和多个机器视觉任务上展示了优于 VVC 的混合视频编解码器的研究论文。

    Jan, 2024

  • 生成式视觉压缩综述

    人工智能生成内容（AIGC）已经引领了一场新的技术革命，推动了数字内容的获取并推动传统编解码器在性能提升和多样化功能方面的进展，本文全面回顾了生成式视觉压缩的最新进展，展示了在超低码率通信，用户指定的重建 / 滤波和智能机器分析方面的巨大潜力和有前景的应用。特别是，我们回顾了基于深度生成模型的视觉数据压缩方法，并总结了如何通过生成技术实现紧凑的表示和高保真重建。此外，我们概括了相关的生成式压缩技术用于机器视觉和智能分析。最后，我们讨论了生成式视觉压缩技术面临的基本挑战，并展望了它们未来的研究方向。

    Feb, 2024

  • 高视觉保真度学习视频压缩

    通过设计自信度基于的特征重建方法和周期性补偿损失，本文提出了一种新颖的高视觉保真度学习视频压缩框架 (HVFVC)，以解决学习视频压缩中的重建问题和优化缺陷，实现了出色的感知质量，并仅需占最新 VVC 标准的 50% 比特率。

    Oct, 2023

  • LVVC：用于高效人机视觉的学习通用视频编码框架

    Versatile video coding framework is proposed to learn compact representations for both human and machine vision, featuring a feature-based compression loop and cross-domain motion encoder/decoder, with evaluation results showing its compression efficiency on different video tasks with benchmark datasets.

    Jun, 2023

  • 一种新兴的编码范式 VCM: 一种超越特征和信号的可扩展编码方法

    本文旨在研究视频编码方法中出现的新问题 VCM，提出基于预测模型和生成模型的高级压缩技术，同时可用于人类视觉和机器视觉，以实现可扩展的信号表示。通过条件生成网络学习稀疏运动模式来重建视频帧，同时对高水平视觉任务如动作识别非常有效。实验表明，我们的方法相对传统视频编解码器和高度压缩视频的最新技术有很大改进，为人类和机器视觉提供了有前途的编码信号范例。

    Jan, 2020

  • CANF-VC：视频压缩的条件增广归一化流

    本文提出了一种基于条件增强型正则化流（CANF）的端到端学习视频压缩系统 CANF-VC，该系统使用了深度生成模型等创新技术，实现了条件帧间编码的视频生成模型及运动编码，实验结果表明 CANF-VC 比现有的最先进方法更优秀。

    Jul, 2022

  • 人机视觉编码：可扩展的图像编码方法

    本文介绍了一种新的图像编码方案，其通过利用压缩模型和生成模型共同支持机器视觉和人的视觉感知任务，并使用紧凑边缘映射连接两种视觉模式，实现了对图像特征的重新构建，其提供了有用的证据支持 MPEG VCM（面向机器的视频编码）标准化工作。

    Jan, 2020

  • FVC：基于特征空间的深度视频压缩新框架

    本文介绍了一种在特征空间内实现运动估计、压缩、补偿和残差压缩的视频编码网络，通过多帧特征融合模块，并利用非局部注意力机制融合多帧参考特征提高帧重建效果，该网络在四个基准数据集上达到了最先进的性能。

    May, 2021

  • 机器视觉视频编码：协作压缩和智能分析的典范

    本文旨在探讨机器视觉中的视频编码新领域 ——Video Coding for Machines (VCM)，并系统地回顾了从 MPEG 标准化的独特视角出发的视频压缩和特征压缩的最新技术。最终提出了潜在的 VCM 解决方案，并探讨了未来的方向。

    Jan, 2020