Feb, 2024

基于隐式辐射场的适用于高保真头像视频会议的分辨率无关的神经压缩

PDF
TL;DR提出了一种基于神经辐射场的新型低带宽神经压缩方法，用于高保真人像视频会议，该方法利用隐式辐射场实现了高保真的表情特征重建，具有低带宽和高分辨率重建的特点。
video conferencingneural compressionlow bandwidthhigh fidelityportrait video conferencing
发现论文，激发创造
  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • NeRFCodec：神经特征压缩与神经辐射场相结合的高效内存场景表示

    通过使用非线性转换、量化和熵编码实现记忆高效的场景表示，我们提出了 NeRFCodec ，这是一个端到端的 NeRF 压缩框架，它利用预训练的神经 2D 图像编解码器对特征进行压缩，从而使得我们能在 0.5 MB 的内存预算下实现高质量的新视角合成。

    Apr, 2024

  • 使用深度生成模型的低带宽视频聊天压缩

    通过使用发送方提取的面部标志在接收方设备上真实重建面孔的方式，我们探讨和评估了几种深度对抗方法的优点和缺点，同时设计了一种基于 SiSiSiiarasdyet.Firdmeodmel 法的移动兼容架构，并借助 SPADE 块在重要区域（如眼睛和嘴唇）中优化结果。我们将网络压缩到约 3MB，使模型可在 iPhone 8（CPU）上实时运行。这种方法使视频通话速度低于几 kbits / 秒，比当前可用的替代方案低一个数量级。

    Dec, 2020

  • 具有神经码本的紧凑实时辐射场

    本文提出了一种使用压缩方法从紧凑的角度追求较小体积的神经辐射场的简单而有效的框架，该方法利用网格模型固有的代表特性，开发了非一致压缩方法以显着减少模型复杂性，并引入了名为 “神经码书” 的新颖参数化模块，通过快速优化来更好地编码每个场景模型的高频细节，从而实现对网格模型存储量的超过 40 倍的减少，在具有竞争性的渲染质量和 180 fps 的实时渲染速度的同时，相对于实时渲染方法而言具有存储成本的显著优势。

    May, 2023

  • 高保真语音与图像合成的高效区域感知网络燃射场

    本论文提出了一种名为 ER-NeRF 的新型条件神经辐射场（NeRF）架构，用于对话肖像合成，可以同时实现快速收敛、实时渲染和小型模型的最新性能。

    Jul, 2023

  • 神经网络实时人像视频补光通过一致性建模

    通过 OLAT 数据集，提出了一种新的基于神经网络的实时、高质量和一致的视频人像重照方法，这是一种混合结构和光照分离的编码器 - 解码器架构，采用多任务和对抗训练策略进行语义感知一致性建模，并采用流基础监督方案进行时间建模，同时还提出一种光照采样策略进行光照一致性建模，以实现自然人像轻松编辑和重照。

    Apr, 2021

  • 利用深度学习进行压缩光场重建

    本研究提出了使用新的、由自编码器和四维卷积神经网络组成的两个分支网络结构，深度学习途径来从单个编码的二维图像中恢复高分辨率的四维光场，以实现光场成像的实时视频采集系统的潜力。

    Feb, 2018

  • AD-NeRF：音频驱动的神经光辐射场用于说话人头部合成

    本文提出了一种基于神经场景表示网络的方法来生成高保真度的会说话头部视频，采用条件隐式函数和动态神经辐射场来直接从输入音频信号生成视频，并支持自由调整音频信号，视角和背景图像。

    Mar, 2021

  • 极度压缩的人脸视频的多模态深度修复

    本文提出了一种多模式深度卷积神经网络方法，用于恢复被激进压缩的脸部视频，并明确了多种模式的先验知识对于减少压缩伪影的重要性，实验证明了该方法对于面部视频的卓越性能。

    Jul, 2021

  • 基于动画的视频压缩的预测编码

    基于图像动画的视频压缩方法，通过使用预测编码方案和图像动画作为预测器，以及针对实际目标帧的残差编码，有效地提高压缩率，与 HEVC 和 VVC 相比可获得超过 70% 和 30% 的比特率增益。

    Jul, 2023