Mar, 2022

3D 透明物体混合 Mesh-neural 表示法的重建

PDF
TL;DR本研究提出了一种基于手持拍摄的自然光下重建透明物体的 3D 形状的新方法，该方法采用了显式网格和多层感知器网络（MLP）的混合表示，通过多视图剪影获得初始形状，并使用基于表面的局部 MLP 编码顶点位移场（VDF）进行表面细节的重建。定义在表面而不是体积上的局部 MLPs 也减少了搜索空间，从而实现了基于单张图片的环境抠图算法的简化实现。经过多项实验证明，此方法可以在采集数据方面进行简化，并且可以确保重建质量优于现有的技术水平。
3d shapestransparent objectsmlp networkvertex displacement fieldsingle-image based environment matting algorithm
发现论文，激发创造
  • 镜中之国：透明形状的神经三维重建

    利用仅需数张自然图像和已知任意环境映射，基于物理原理的网络，可恢复透明物体的 3D 形状，包括复杂折射和反射，其成功复原了高质量透明物体的 3D 几何形状，最少仅需五到十二张图片。

    Apr, 2020

  • 基于物体中心射线采样的稀疏三维重建

    我们提出了一种从由 360 度校准相机组拍摄的一组稀疏视图中重建 3D 物体的新方法。我们通过混合模型，使用基于 MLP 的神经表示和三角形网格，表示对象表面。我们工作的一个关键贡献是一种新颖的以对象为中心的神经表示采样方案，其中的光线在所有视图之间共享。这种采样方案通过网格表示确保样本沿法线方向分布均匀。然后，通过可微分的渲染器高效地进行渲染。我们证明了这种采样方案能更有效地训练神经表示，不需要额外的分割蒙版的监督，能获得最先进的 3D 重建结果，并且适用于 Google 的 Scanned Objects、Tank and Temples 和 MVMC Car 数据集的稀疏视图。

    Sep, 2023

  • Image2Mesh: 单张图像三维重建的学习框架

    本文提出了一种使用基于网格的表示来捕捉三维重构任务中的细粒度几何信息的学习框架，它使用自由形变和稀疏线性组合的紧凑网格表示来重建三维物体，相比之前的工作，我们不依赖于轮廓和标记来进行三维重建，并在合成和真实数据集上进行了很有前途的实验结果验证。

    Nov, 2017

  • HISR：用于逼真的 3D 人体重建的混合隐式表面表示

    我们提出了一种新的混合隐式表面表示方法来建模人体形状，该表示方法由两个表面层组成，用于表示穿着衣物的人体的不同区域，我们使用视觉线索自动分割不同区域，并学习重建两个有符号距离函数，我们在不透明区域上执行基于表面的渲染以保留高保真度的表面法线，并在半透明区域上执行体积渲染（例如头发），实验证明我们的方法在 3D 人体重建上取得了最先进的成果，并在其他物体上展示了有竞争力的表现。

    Dec, 2023

  • 使用神经反射技术进行形状恢复和阴影处理

    本文提出了一种基于深度多层感知器（MLP）的坐标系参数化方法，通过充分利用观察到的光度变化和表面阴影，恢复了表面形状和非兰伯特表面反射，并显式地预测投射阴影，减轻了这些遮挡区域上可能存在的估计误差。测试结果表明，该方法在真实世界图像中优于现有方法，并且由于 MLP 网络较小，相比以前基于 CNN 的方法，其速度提高了一个数量级。

    Mar, 2022

  • 通过解离几何和外观来进行多视图神经表面重建

    本文介绍一种神经网络架构，通过联合学习未知几何形状、相机参数和神经渲染器，能够高质量、高精度、高细节地实现多角度 3D 表面重建。该方法通过零级集的神经网络表示几何形状，并采用基于渲染方程的神经渲染器来预测表面上的光的反射情况，具有广泛的光照和材质建模能力。

    Mar, 2020

  • 神经延迟着色的多视角网格重建

    提出了一种分析合成方法，用于快速多视角不透明物体的三维重建，通过将表面表示为三角形网格并围绕三角形光栅化和神经阴影构建可微分的渲染管道，优化三角形网格和神经着色器来重现多视图图像，并研究了着色器，发现它学习了可解释的外观表示。

    Dec, 2022

  • MLPHand：基于 MLP 建模的多视角实时三维手部网格重建

    研究提出了 MLPHand，一种用于实时多视图单手重建的新方法。MLPHand 包含两个主要模块：轻量级的基于 MLP 的 Skeleton2Mesh 模型，以及使用多视图几何特征融合预测模块增强 Skeleton2Mesh 模型。实验表明，MLPHand 可以在保持与现有最先进方法相当的重建准确性的同时，将计算复杂度减少 90%。

    Jun, 2024

  • 用动态 MLP 地图表示立体视频

    本文提出了一种用于动态场景实时视角合成的体积视频新表示法，通过使用浅层 MLP 网格和共享的 2D CNN 解码器动态预测 MLP 参数，显著提高了渲染速度并降低了存储成本，实验表明，该方法在渲染质量上实现了最先进的水平，同时能够通过 RTX 3090 GPU 以 41.7fps 的速度对 $512 imes 512$ 的图像实时渲染。

    Apr, 2023

  • 基于神经动态网格的人类表现建模与渲染

    本文提出了一种综合的神经方法，用于从密集的多视角视频中重建、压缩和渲染人类表演。该方法桥接了传统的动画网格工作流和一类高效的神经技术，其中包括神经表面重构器和混合神经跟踪器，并实现了各种带宽设置下的从动态纹理到光图渲染的渲染方案，展示了其在各种网格应用和各种平台的逼真自由视点体验中的有效性。

    Sep, 2022