Nov, 2021

从图像中提取三角形 3D 模型、材质和照明

PDF
TL;DR本文提出了一种简便的多视角图像观察下拓扑、材料和照明的联合优化方法，通过不同 iable rendering、基于坐标的网络紧凑地表示体积纹理，并在表面网格上直接进行梯度优化，最后介绍了一种环境光的差异化公式，证明了我们的模型可以用于场景编辑、材料分解和高质量视图插值，在三角形渲染器（光栅化器和路径跟踪器）中以交互速率运行。
发现论文，激发创造
  • 外观驱动的自动三维模型简化

    本文提出了一套技术来同时优化三角形网格和着色模型，以匹配参考场景的外观，从而实现外观保持的简化，渲染系统之间及几何场景之间的转换。通过高度有效的可微渲染器和现代非线性优化算法，将结果驱动到在相似的视角和光照下渲染的目标场景图像空间差异最小。输出带有纹理材料的三角形网格，以保证模型在现代图形硬件上高效渲染，并受益于硬件加速光栅化、射线追踪和过滤纹理查找。

    Apr, 2021

  • 从真实世界图像中学习纹理三维网格的生成模型

    本文提出了一种基于 GAN 框架生成纹理三角形网格的方法，可以不依赖关键点注释，同时在 ImageNet 上设置了新的基准，相比基于真实关键点的先前方法性能相当。

    Mar, 2021

  • 神经延迟着色的多视角网格重建

    提出了一种分析合成方法，用于快速多视角不透明物体的三维重建，通过将表面表示为三角形网格并围绕三角形光栅化和神经阴影构建可微分的渲染管道，优化三角形网格和神经着色器来重现多视图图像，并研究了着色器，发现它学习了可解释的外观表示。

    Dec, 2022

  • HR 人形：利用三角网格和视频高分辨率纹理建模人形化身

    通过单目视频实现高分辨率物理材质纹理和三角网格的人体模型的获取并结合多视角图像合成的信息融合策略，通过神经隐式表达生成可编辑的变形人体模型。

    May, 2024

  • Intrinsic3D： 高质量的 3D 重建，通过联合外观和几何优化，带有空间变化照明

    本文提出一种新的方法，可同时优化几何编码、纹理以及材料和场景照明，以从消费级 RGB-D 传感器中获得高质量的 3D 重建。

    Aug, 2017

  • 实现可伸缩的几何和材料多视角重建

    本文提出了一种新方法，通过使用点光源的移动手持捕捉系统，联合恢复无法被固定采集设备捕获的超物体尺度的三维场景的相机姿势，对象几何和空间变化双向反射分布函数，并引入分布式优化算法进行重构

    Jun, 2023

  • 大规模真实室内场景多视角反渲染

    本文提出了一种高效的多视角逆向呈现方法，可以重建大规模室内场景的全局间接光照和物理合理的 SVBRDF，通过所提出的 Texture-Based Lighting (TBL) 来实现整个大场景的直接光照和无限反弹间接光照的紧凑表示，并基于 TBL 提出了一种预计算辐照度的混合光照表示，通过基于语义分割和房间分割的先验提出了三阶段材料优化策略来消除材料之间的歧义，实验结果表明所提出的方法在定量和定性上均优于现有的最佳方法，并启用了物理合理的增强现实应用，如材质编辑，可编辑的新视角合成和重新照明。

    Nov, 2022

  • 基于阴影引导的生成式隐式模型用于精确形状的 3D 感知图像合成

    本研究提出了一种基于阴影引导的生成式隐式模型，该模型利用多角度光照约束对 3D 物体进行建模，使得在不同光照条件下产生逼真的渲染效果，从而改善先前方法在表达精确 3D 形状方面的局限性，并成功应用于图像重照和 3D 形状重建任务。

    Oct, 2021

  • 通过可微路径追踪，重建图像中的三维物体几何形状和 SVBRDF 材质

    通过不同 iable ray tracing 优化初始粗略网格和每个网格面材质表示，从而实现从低分辨率输入视图中重建细粒度几何和材料细节，本文证明不同 geometry 的初始化对重建的影响，并展示如何在无约束环境中通过智能手机视频和消费者 360° 摄像机的输入来优化实际物体的初始重建。

    Dec, 2020

  • 可微分的曲面三角剖分

    提出了可微分的表面三角形网格化算法，基于加权德劳内三角形的软松弛，并通过优化顶点和边界约束来拟合目标曲面，成功地解决了现有网格处理和优化技术在连续体上的局限性。

    Sep, 2021