CVPRMar, 2019

基于光度学的网格优化技术，用于视频对齐的三维物体重建

PDF
TL;DR本论文研究了从 RGB 视频中重建三维物体网格的方法，结合多视角几何和数据驱动方法来优化物体网格以适应多视角光度一致性，并通过形状先验来约束网格变形。作者采用逐片图像对齐的形式，通过光度误差更新形状参数，无需深度或掩膜信息。此外，作者还展示了如何通过虚拟视点的光栅化来避免零光度梯度导致的退化问题，并展示了采用光度网格优化的方法从合成和真实视频中获得的三维物体网格重建结果，相比于传统的网格生成网络或表面重建方法，避免了繁琐的手动后处理。
3d object mesh reconstructionmulti-view geometric methodsdata-driven methodsphotometric consistencyshape prior
发现论文，激发创造
  • 野外一致网格重建的在线适应

    本文提出了一种算法，用于从野外视频中重建变形对象实例的时间一致 3D 网格，不需要每个视频帧的 3D 网格注释，2D 关键点或相机姿态，而是将基于视频的重建构建为适用于任何传入测试视频的自监督在线适应问题。

    Dec, 2020

  • 2L3: 将不完美生成的 2D 图像提升到精确的 3D

    通过利用内在分解指导、瞬态 - 单模先验指导和视图增强来解决光照不一致、几何不对齐和视图稀疏等问题，我们提出了一种新的 3D 重构框架，该框架能够将多视图图像生成与神经网络基于体积有符号距离函数的单一图像到 3D 对象重建相结合。在各种数据集上评估我们的方法，并在定量和定性评估中展示了其卓越性能，从而在 3D 物体重建方面取得了显著的进展。与最新的最先进方法 Syncdreamer 相比，我们将 Chamfer 距离误差降低了约 36％，将 PSNR 提高了约 30％。

    Jan, 2024

  • 基于形态模型引导的稀疏光度三维人脸重建

    本研究提出了一种新的三维人脸重建技术，利用稀疏光度立体和单个图像的面部建模技术，通过采用语义分割技术，可以精确重构面部毛发和裸露皮肤区域，包括皱纹、眉毛、丘疹、毛孔等微小的几何细节，其表现可与电影品质制作相媲美。

    Nov, 2017

  • 实现可伸缩的几何和材料多视角重建

    本文提出了一种新方法，通过使用点光源的移动手持捕捉系统，联合恢复无法被固定采集设备捕获的超物体尺度的三维场景的相机姿势，对象几何和空间变化双向反射分布函数，并引入分布式优化算法进行重构

    Jun, 2023

  • 从点云到多目标三维重建

    本文提出了一种从单一 RGB 图像中检测和重构多个 3D 物体的方法，通过逐步优化检测、对齐和形状重构，选择最佳的几个候选形状，并采用轻量化的重构技术进行快速、端到端的训练。

    Dec, 2020

  • 基于虚拟相机的自由移动物体重建与姿态估计

    我们提出了一种从单目 RGB 视频中重建自由移动物体的方法，无需任何先验信息，通过基于隐式神经表示同时优化对象的形状和姿态，其中方法的关键是一个虚拟摄像机系统，显著减小了优化的搜索空间。通过在 HO3D 数据集和佩戴在头部设备上捕获的主观 RGB 序列上的评估，我们证明了该方法明显优于大多数方法，并且与假设先验信息的最新技术相媲美。

    May, 2024

  • 未知通用反射率纹理缺失光滑表面的多视角三维重建

    本文提出了一种简单且实用的解决方案，在多视角重建中使用基于联合几何和光度约束的能量最小化，利用一个共置的摄像机 - 光线扫描仪设备来克服建立跨视觉对应的问题。我们的优化算法可以从随机初始化中稳健地全局最优地恢复形状和反射率。实验结果验证了我们方法的有效性并讨论了未来的可能扩展。

    May, 2021

  • 大规模光度捆绑调整

    本文提出一个通过联合光度优化密集几何和摄像机参数，用于 3D 重建的框架，使其比特征点 bundle 调整更具指标重建精度，该框架可以应用于大规模的数据集，并且在面对不同的光照和相机内参时有更好的表现。

    Aug, 2020

  • 轻量级光度立体成像技术用于面部细节恢复

    在这篇论文中，我们提出了一种基于光度立体技术的轻量级策略，仅需要稀疏输入或单个图像即可恢复近场光下高保真度的面部形态。通过构建包含 84 个不同主题和 29 种表情的数据集，我们提出了一个专门设计用于光度立体基于 3D 面部重建的新型神经网络。广泛的实验和比较表明，我们的方法可以生成高质量的重建结果。

    Mar, 2020

  • 使用单张图像进行几何细节的 3D 人脸重建

    本研究提出了一种新的方法，使用粗到细的优化策略，从不受限制的 2D 图像中重建 3D 人脸，包括利用基于示例的双线性人脸模型生成光滑的粗糙 3D 人脸，使用局部修正变形场对其进行精细化处理和使用形状 - 从 - 阴影方法恢复细节，实现了真实世界模型和公共可用数据集的精度和细节恢复方面的领先水平。

    Feb, 2017