Nov, 2023

神经纹理驱动：一个用于关节形状的神经几何和纹理渲染的框架，实现交互速度下的重新识别

PDF
TL;DR我们提出了一种用于纹理关节形状的神经渲染管线 Neural Texture Puppeteer，通过分离几何和纹理编码来捕捉表面的空间关系，并将全局纹理嵌入作为识别个体的下游任务，以实现与神经渲染的快速交互速度。
发现论文，激发创造
  • 神经语音傀儡术：基于音频的面部再现

    本文介绍了神经语音操纵 (Neural Voice Puppetry) 的新方法，即通过深度神经网络驱动的三维面部模型，实现了基于音频和文本的视频合成，包括生成音频驱动的虚拟形象和文本驱动的谈话头像等多种用途。

    Dec, 2019

  • 纹理神经形象

    我们提出了一个学习全身神经头像的系统，该系统采用中间路径，同时估计模型表面的显式二维纹理映射，并通过卷积网络将身体特征点的配置与相机相对应，直接映射为图像中单个像素的 2D 纹理坐标。我们展示了这样的系统能够学习生成逼真的渲染，并通过与使用直接图像到图像翻译的系统相比较的值得推崇的泛化性能来展示，保持显式纹理表示对于系统的改善有所帮助。

    May, 2019

  • 基于神经动态网格的人类表现建模与渲染

    本文提出了一种综合的神经方法，用于从密集的多视角视频中重建、压缩和渲染人类表演。该方法桥接了传统的动画网格工作流和一类高效的神经技术，其中包括神经表面重构器和混合神经跟踪器，并实现了各种带宽设置下的从动态纹理到光图渲染的渲染方案，展示了其在各种网格应用和各种平台的逼真自由视点体验中的有效性。

    Sep, 2022

  • 重新识别监督纹理生成

    本文提出了一种基于端到端学习策略的方法，利用行人重新识别作为感知度量，生成单张人体图像的纹理贴图，实验结果表明，我们的模型可以从单张图像中生成纹理贴图，并证明我们的纹理比其他可用方法生成的质量更高，我们还将应用范围扩展到其他类别，并探索了我们生成的纹理的可能利用途径。

    Apr, 2019

  • 通过学习动态纹理和视频渲染转换实现神经人类视频渲染

    本文介绍了一种新的人类视频合成方法，通过两个卷积神经网络（CNNs）明确分离 2D 屏幕空间中的人类嵌入和时间相干的细节，其中第一个 CNN 预测一个动态纹理映射，第二个 CNN 条件下第一个 CNN 的输出生成最终的视频。 该方法被应用于人类重演和单目视频的新视图合成等多个领域，并且在质量和数量方面都有显着的提高。

    Jan, 2020

  • 单图像神经再渲染技术

    该论文提出一种新的神经重渲染方法，利用单张图像生成一个人体在新的用户定义的姿势和视角下的三维重建，并通过高维度 UV 特征图编码外观，该方法在单张图像重渲染方面比现有方法产生更高质量的成果。

    Jan, 2021

  • 可控人物图像合成的神经纹理提取与分配

    该研究利用神经纹理提取和分布操作，实现了人物图像综合控制，进一步实现外形的可控制性。

    Apr, 2022

  • 延迟神经渲染：使用神经纹理进行图像合成

    通过引入 Deferred Neural Rendering 和 Neural Textures，本文提出一种新的渲染模型，可以快速准确地合成出高质量的视觉效果，即使输入的 3D 内容不完整嘈杂，同时可以在多个应用领域内进行使用，例如在新颖的视角合成，场景编辑和面部复制等方面。

    Apr, 2019

  • 人类演员视频的神经渲染及再现

    该研究提出了一种基于视频的真实人物动画生成方法，利用中等质量的可控 3D 模板模型和神经网络技术，成功实现了人物形象的逼真渲染和编辑。

    Sep, 2018

  • 一种几何感知的自编码器，用于多纹理合成

    本研究提出了一种自编码器体系结构，可以用于多纹理合成。该方法依赖于同时考虑二阶神经统计和自适应周期性内容的紧凑编码器和生成器，将图像嵌入一个紧凑和几何一致的潜空间，在这个空间内实现纹理表示和其空间组织的解耦。实验结果表明，该模型在视觉质量和各种纹理相关指标方面优于最先进的前馈方法。

    Feb, 2023