CVPRJul, 2021

极度压缩的人脸视频的多模态深度修复

PDF
TL;DR本文提出了一种多模式深度卷积神经网络方法，用于恢复被激进压缩的脸部视频，并明确了多种模式的先验知识对于减少压缩伪影的重要性，实验证明了该方法对于面部视频的卓越性能。
talking headcompression artifactsdeep convolutional neural networkvideo-synchronized speech signalcompression code stream
发现论文，激发创造
  • 深度多模态软解码非常低比特率人脸视频

    本文提出了一种基于深度学习的多模态神经网络来去除讲述者视频的压缩伪影，这种方法可以显著提高冗余压缩下的视频质量。

    Aug, 2020

  • 多模态深度网络用于 JPEG 伪影降噪

    本文提出一种基于多模态融合学习的文本引导下的 JPEG 压缩伪影降低方法，通过从全局和局部角度融合图像和文本语义特征，并基于对比学习构建对比损失函数，能够在极低码率下有效降低 JPEG 压缩伪影。经过实验证明，该方法能够获得比现有技术更好的降低伪影效果。

    May, 2023

  • 使用深度生成模型的低带宽视频聊天压缩

    通过使用发送方提取的面部标志在接收方设备上真实重建面孔的方式，我们探讨和评估了几种深度对抗方法的优点和缺点，同时设计了一种基于 SiSiSiiarasdyet.Firdmeodmel 法的移动兼容架构，并借助 SPADE 块在重要区域（如眼睛和嘴唇）中优化结果。我们将网络压缩到约 3MB，使模型可在 iPhone 8（CPU）上实时运行。这种方法使视频通话速度低于几 kbits / 秒，比当前可用的替代方案低一个数量级。

    Dec, 2020

  • 从视频中感知语音的视觉三维面部表情重建

    本文介绍了一种基于视觉的、口型感知的三维口部表情重建方法，该方法不需要任何文本转录或对应音频，并使用 “lipread” 损失来指导拟合过程，以使三维重建的头部运动与原始视频片段的感知相似。此外，通过三个大规模数据集的详尽客观评估和两个基于网络的用户研究的主观评估，我们证明了该方法的有效性。

    Jul, 2022

  • 极端学习图像多模态深度网络压缩

    本文提出了一种文字引导图像压缩的多模态机器学习方法，通过使用文本的语义信息来引导图像压缩，以实现更好的压缩性能，包括采用图像 - 文本注意力模块和改进的多模态语义一致性损失函数。实验证明，该方法能够在极低比特率下获得较好的视觉效果，并且即使与最先进的技术相比，其性能也可以相媲美或超越。

    Apr, 2023

  • 深度卷积网络用于压缩伪影降噪

    通过深度卷积网络的成功在超分辨率方面的成功，该论文提出了一种紧凑有效的网络，用于无缝衰减不同类型的压缩伪影，并证明使用传输学习和易于困难学习的思想可以在低级别视觉问题中实现出色的性能。

    Aug, 2016

  • 多模态深度面部表示的鲁棒人脸识别

    本篇论文提出了一种使用多模式信息联合学习人脸表征的深度学习框架，该框架包括一组卷积神经网络和三层堆叠自动编码器，使用公开可用的数据集训练，取得了超过 99％的人脸识别率。

    Sep, 2015

  • 利用简化 CNN 对视频编码中的非局部冗余进行提升

    该研究旨在利用卷积神经网络及非局部冗余优化视频压缩，达到与预处理去噪 CNN 类似的编码增益，同时只需要约为 1% 的计算复杂度，适用于资源受限的条件下进行视频压缩。

    Oct, 2019

  • Head2Head: 视频基于神经元头部综合

    本文提出了一种新的面部再现的机器学习架构，该方法利用卷积神经网络进行特征提取及实现面部运动，注重嘴部及时间一致性，实现了将源角色的面部表情、姿势和视线传输到目标视频中，比现有技术更精确地展现了真实人像。

    May, 2020

  • 利用视频编码知识进行深度视频增强

    本文提出了一种新的框架，利用视频压缩的低延迟配置和上下文自适应视频融合方法，提高 BasicVSR ++ 方法的质量，已在 NTIRE22 挑战中得到验证，并在定量指标和视觉质量方面与之前的方法相比均有所提高。

    Feb, 2023