Sep, 2023

大规模语义人脸压缩技术：基于紧凑型三维描述符的方法

PDF
TL;DR本文提出了一种新的元宇宙通信范式，通过紧凑的三维面部描述符对虚拟化身面部进行语义压缩，旨在提高灵活性、效率和语义意义，以促进基于人工智能的理解，并与最先进的视频编码标准进行性能比较，取得了显著的率 - 准确性表现改善。该方案有望实现基于机器分析的数字人类通信，并成为元宇宙中的交互和通信的基石。
metaverse communicationvirtual avatar facessemantic face compression3d facial descriptorsartificial intelligence
发现论文，激发创造
  • 基于视觉的元宇宙服务语义传播：竞赛理论方法

    建议使用语义通信框架和深度 Q 网络优化资源分配，以实现虚拟现实环境中的角色关联的资源分配，确保用户在 Metaverse 中获得流畅而沉浸的体验。

    Aug, 2023

  • 面部视频的深度语义处理

    本文提出了一种基于神经渲染和基于 3D 面部表情建模的方法，支持语义视频操作，可以通过改变和控制面部表情实现交互式操作，实现了有希望的逼真效果，并且引入了用户友好的交互 AI 工具，可以处理关于特定部分的输入视频中期望的表情操作的可读的语义标签，并合成逼真的操作视频。

    Nov, 2021

  • 机器视觉视频编码：协作压缩和智能分析的典范

    本文旨在探讨机器视觉中的视频编码新领域 ——Video Coding for Machines (VCM)，并系统地回顾了从 MPEG 标准化的独特视角出发的视频压缩和特征压缩的最新技术。最终提出了潜在的 VCM 解决方案，并探讨了未来的方向。

    Jan, 2020

  • 面部视频压缩的感知质量评估：基准和有效方法

    本文介绍了大规模压缩人脸视频质量评估数据库的构建和性能评估，该数据库被认为是系统地理解人脸视频中感知质量和多样化压缩畸变的第一次尝试，同时还开发了 FAVOR 指数来度量人脸视频的感知质量。

    Apr, 2023

  • 极度压缩的人脸视频的多模态深度修复

    本文提出了一种多模式深度卷积神经网络方法，用于恢复被激进压缩的脸部视频，并明确了多种模式的先验知识对于减少压缩伪影的重要性，实验证明了该方法对于面部视频的卓越性能。

    Jul, 2021

  • 自然语言描述生成高保真 3D 人脸

    本研究提出了一种基于自然语言描述生成高质量三维人脸模型的方法，通过建立 Describe3D 数据集以及使用两阶段框架来解决描述语言空间与形状 / 外观空间映射关系的问题，并且实验结果表明，该方法可以以比以往更高的精度和质量生成符合输入描述的三维人脸。

    May, 2023

  • 基于模块化编解码的表现性远程存在

    本文介绍一种基于摄像头驱动的模块化编解码头像（MCA）生成技术，能够 解决传统头像模型在表达面部表情和实时应用中存在的问题，从而在 VR 遥控应用方面有更好的应用。

    Aug, 2020

  • 语义文本压缩分类

    我们研究了文本的语义压缩，其中文本中包含的含义被传达给源编码器，例如用于分类。我们提出了一种利用句子嵌入和语义失真度量来保持含义的语义量化和压缩方法。我们的结果表明，与语义不可知基线相比，所提出的语义方法在所需消息表示的比特数量方面节省大量资源，仅以非常适度的准确性损失为代价。我们比较了所提出方法的结果，并观察到语义量化所实现的资源节省可以通过语义聚类进一步增强。重要的是，我们观察到所提出方法的普适性，其在许多基准文本分类数据集上都获得了出色的结果，涵盖了多样化的环境。

    Sep, 2023

  • 使用深度生成模型的低带宽视频聊天压缩

    通过使用发送方提取的面部标志在接收方设备上真实重建面孔的方式，我们探讨和评估了几种深度对抗方法的优点和缺点，同时设计了一种基于 SiSiSiiarasdyet.Firdmeodmel 法的移动兼容架构，并借助 SPADE 块在重要区域（如眼睛和嘴唇）中优化结果。我们将网络压缩到约 3MB，使模型可在 iPhone 8（CPU）上实时运行。这种方法使视频通话速度低于几 kbits / 秒，比当前可用的替代方案低一个数量级。

    Dec, 2020

  • 从视频中生成的隐式可塑头像

    提出了一种名为 IMavatar 的新方法，可以从单目视频中生成隐式头像。通过学习混合形状和蒙皮场来表示表情和姿势相关的变形，使得这些属性可以用于完成新表情和姿态下的几何和纹理场的变形，并通过光线行进和迭代根查找，为每个像素定位规范表面交点，从而实现了头像的生成，并通过端到端的训练，得出了比现有技术更完整的表情空间和几何形状。

    Dec, 2021