Jul, 2022

低比特率下基于 AI 的视频会议人脸增强技术

PDF
TL;DR提出一种名为 FAIVConf 的视频压缩框架，基于有效的神经人脸生成技术实现，通过获取和保持面部特征进行背景动画避免伪影、面部失焦降低传输比特率、动态源更新进行面部视图插值等多种设计，取得了较大的码率降低和更好的视觉质量。
发现论文，激发创造
  • 基于隐式辐射场的适用于高保真头像视频会议的分辨率无关的神经压缩

    提出了一种基于神经辐射场的新型低带宽神经压缩方法，用于高保真人像视频会议，该方法利用隐式辐射场实现了高保真的表情特征重建，具有低带宽和高分辨率重建的特点。

    Feb, 2024

  • 基于关键帧的 GAN 在视频会议中的感知质量提升

    我们提出了一种基于 GAN 的方法，用于视频会议中的压缩失真减少，通过提取多尺度特征和结合面部标志的方式，恢复视频压缩后丢失的高频细节，实验证明该方法在高压缩速率下提高了视觉质量并生成了逼真的结果。

    Nov, 2023

  • 面部视频压缩的感知质量评估：基准和有效方法

    本文介绍了大规模压缩人脸视频质量评估数据库的构建和性能评估，该数据库被认为是系统地理解人脸视频中感知质量和多样化压缩畸变的第一次尝试，同时还开发了 FAVOR 指数来度量人脸视频的感知质量。

    Apr, 2023

  • 视频会议用单镜头自由视角神经对话人头合成

    提出了一种新颖的神经网络生成模型，采用关键点作为运动信息的表征形式，从而实现了面部图像的生成，降低了视频会议的带宽要求。

    Nov, 2020

  • 使用深度生成模型的低带宽视频聊天压缩

    通过使用发送方提取的面部标志在接收方设备上真实重建面孔的方式，我们探讨和评估了几种深度对抗方法的优点和缺点，同时设计了一种基于 SiSiSiiarasdyet.Firdmeodmel 法的移动兼容架构，并借助 SPADE 块在重要区域（如眼睛和嘴唇）中优化结果。我们将网络压缩到约 3MB，使模型可在 iPhone 8（CPU）上实时运行。这种方法使视频通话速度低于几 kbits / 秒，比当前可用的替代方案低一个数量级。

    Dec, 2020

  • 深度多模态软解码非常低比特率人脸视频

    本文提出了一种基于深度学习的多模态神经网络来去除讲述者视频的压缩伪影，这种方法可以显著提高冗余压缩下的视频质量。

    Aug, 2020

  • FIVA：面部图像和视频匿名化与匿名化防御

    本文介绍一种新的面部匿名化方法，名为 FIVA，提出了使用身份追踪实现一致的面部匿名化，并保证与原始面部有很强的区别。FIVA 对于 0.001 的误通过率具有 0 的真阳性。我们的工作考虑到了重建攻击这一重要的安全问题，并对对抗性噪声、均匀噪声和参数噪声应用不同的防御和保护方法来破坏重建攻击。此外，我们还展示了重建攻击模型可以用于检测深度伪造。最后，我们提供了实验证据，展示了 FIVA 如何甚至能够在单个目标图像上进行面部交换。

    Sep, 2023

  • 基于动画的视频压缩的预测编码

    基于图像动画的视频压缩方法，通过使用预测编码方案和图像动画作为预测器，以及针对实际目标帧的残差编码，有效地提高压缩率，与 HEVC 和 VVC 相比可获得超过 70% 和 30% 的比特率增益。

    Jul, 2023

  • 生成人脸视频编码技术和标准化工作：综述

    Generative Face Video Coding (GFVC) techniques, which exploit facial priors and deep generative models, are comprehensively surveyed in this paper, including standardization efforts and their potential applications.

    Nov, 2023

  • 极度压缩的人脸视频的多模态深度修复

    本文提出了一种多模式深度卷积神经网络方法，用于恢复被激进压缩的脸部视频，并明确了多种模式的先验知识对于减少压缩伪影的重要性，实验证明了该方法对于面部视频的卓越性能。

    Jul, 2021