MMNov, 2023

基于关键帧的 GAN 在视频会议中的感知质量提升

PDF
TL;DR我们提出了一种基于 GAN 的方法，用于视频会议中的压缩失真减少，通过提取多尺度特征和结合面部标志的方式，恢复视频压缩后丢失的高频细节，实验证明该方法在高压缩速率下提高了视觉质量并生成了逼真的结果。
videoconferencinglossy video compressioncompression artifacts reductiongan-based methodvisual quality improvement
发现论文，激发创造
  • 使用 GAN 进行神经视频压缩，进行细节合成和传播

    我们提出了一种基于生成对抗网络（GANs）的神经视频压缩方法，它在用户研究中明显优于以前的神经和非神经视频压缩方法，并为神经方法的视觉质量设定了新的最新技术。我们表明 GAN 损失对于获得这种高视觉质量是至关重要的，并通过用户研究验证了这种方法的有效性。

    Jul, 2021

  • 基于多层小波的生成对抗网络用于压缩视频感知质量提升

    本文提出了一种基于多层小波包变换的生成对抗网络（MW-GAN）方法，旨在增强压缩视频的感知质量，其中运动补偿与小波重构网络被用于恢复高频细节，实验结果表明了该方法的优越性。

    Aug, 2020

  • 基于动画的视频压缩的预测编码

    基于图像动画的视频压缩方法，通过使用预测编码方案和图像动画作为预测器，以及针对实际目标帧的残差编码，有效地提高压缩率，与 HEVC 和 VVC 相比可获得超过 70% 和 30% 的比特率增益。

    Jul, 2023

  • 时间上一致的语义视频编辑

    本文提出一种简单而有效的方法来实现一致性视频编辑，通过优化潜在编码和预先训练的生成器，减少时间光度不一致，并在不同领域和 GAN 逆推技术上得到了有利的结果。

    Jun, 2022

  • 具备保真度可控的极端图像压缩技术：生成式对抗网络

    一种基于 GAN 的图像压缩方法，通过采用两阶段的训练和网络插值技术，在极低比特率下重构高质量图像，可以平衡感知质量和保真度之间的权衡且优于现有的基于 GAN 的图像压缩模型。

    Aug, 2020

  • 高视觉保真度学习视频压缩

    通过设计自信度基于的特征重建方法和周期性补偿损失，本文提出了一种新颖的高视觉保真度学习视频压缩框架 (HVFVC)，以解决学习视频压缩中的重建问题和优化缺陷，实现了出色的感知质量，并仅需占最新 VVC 标准的 50% 比特率。

    Oct, 2023

  • 使用深度生成模型的低带宽视频聊天压缩

    通过使用发送方提取的面部标志在接收方设备上真实重建面孔的方式，我们探讨和评估了几种深度对抗方法的优点和缺点，同时设计了一种基于 SiSiSiiarasdyet.Firdmeodmel 法的移动兼容架构，并借助 SPADE 块在重要区域（如眼睛和嘴唇）中优化结果。我们将网络压缩到约 3MB，使模型可在 iPhone 8（CPU）上实时运行。这种方法使视频通话速度低于几 kbits / 秒，比当前可用的替代方案低一个数量级。

    Dec, 2020

  • 高保真生成图像压缩

    本文研究了如何将生成敌对网络与学习压缩相结合，得到一种最先进的生成有损压缩系统，并在归一化层、生成器和鉴别器架构、训练策略以及感知损失方面进行了探究。与之前的工作不同的是，我们实现了在广泛的比特率范围内视觉上令人满意的重建，并且，我们的方法可以应用于高分辨率图像。我们在定量上使用各种感知指标和用户研究来评估我们的方法，研究表明，即使使用超过 2 倍的比特率，我们的方法也优于以前的方法。

    Jun, 2020

  • 基于隐式辐射场的适用于高保真头像视频会议的分辨率无关的神经压缩

    提出了一种基于神经辐射场的新型低带宽神经压缩方法，用于高保真人像视频会议，该方法利用隐式辐射场实现了高保真的表情特征重建，具有低带宽和高分辨率重建的特点。

    Feb, 2024

  • 分层交叉模态对话脸动态像素损失生成

    提出了级联 GAN 方法来生成对话式人脸视频，该方法在不同的人脸形状、视角、面部特征和嘈杂声音条件下具有鲁棒性，通过将音频转换为高级结构，即面部标志点，然后在标志点的条件下生成视频帧，避免了不相关的音频视觉信号之间的假冒关联，利用动态可调整像素级损失和注意机制来解决像素抖动问题，并提出了一种新的基于回归的鉴别器结构来生成更清晰、更同步的面部动作图像，实验结果表明，我们的方法比现有方法在定量和定性比较中取得了显著更好的效果。

    May, 2019