Aug, 2023

自由形状物体扫描的光度特征转换学习

PDF
TL;DR我们提出了一个新颖的框架，用于自动学习多个非结构化视图中的光度测量并转换成空间上具有区分度和视角不变性的低级特征，以增强三维重建。我们联合训练了大量合成数据来处理采集期间的光照条件和特征转换。我们进一步构建了一个系统，从手持扫描中重建出各种具有挑战性的物体的几何和各向异性反射度。我们的原型系统由相机和一组 LED 以及商用平板电脑组成，经通过与专业三维扫描仪和照片的重建验证，结果与最先进的技术相比表现良好。
发现论文，激发创造
  • 单目 3D 目标检测的正交特征转换

    本文采用正交特征变换的方式将图像特征映射到三维空间，从而让我们能够在一个具有一致尺度和可推断真实距离的领域中全面考虑场景的空间配置，运用于端到端的深度学习架构中，在 KITTI 3D 物体基准测试上实现了最先进的性能。

    Nov, 2018

  • 稀疏多视图图像抓取的深度 3D 捕获：几何和反射

    本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法，旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF，通过最小化光度误差优化多视角反射率网络的潜在空间，成功地实现了从稀疏数据中重建出高质量的物体，进而渲染出真实的图像。

    Mar, 2020

  • 大规模光度捆绑调整

    本文提出一个通过联合光度优化密集几何和摄像机参数，用于 3D 重建的框架，使其比特征点 bundle 调整更具指标重建精度，该框架可以应用于大规模的数据集，并且在面对不同的光照和相机内参时有更好的表现。

    Aug, 2020

  • 未知通用反射率纹理缺失光滑表面的多视角三维重建

    本文提出了一种简单且实用的解决方案，在多视角重建中使用基于联合几何和光度约束的能量最小化，利用一个共置的摄像机 - 光线扫描仪设备来克服建立跨视觉对应的问题。我们的优化算法可以从随机初始化中稳健地全局最优地恢复形状和反射率。实验结果验证了我们方法的有效性并讨论了未来的可能扩展。

    May, 2021

  • 面向低成本单光子相机的三维视觉

    基于单光子相机的能效高、低成本小型测量，我们提出了一种重建任意兰伯特物体 3D 形状的方法。通过模拟数据和实际捕捉的测量结果来展示我们的方法可以成功恢复复杂的 3D 形状，连接了基于图像建模和主动式范围扫描，并为单光子相机的 3D 视觉迈出了一步。

    Mar, 2024

  • LookUp3D: 数据驱动的 3D 扫描

    我们提出了一种新的校准和重建过程，放弃了显式的点三角化，转而使用基于数据驱动的查找过程。我们的算法和硬件原型针对高速 3D 扫描进行了描述和比较。

    Apr, 2024

  • 轻量级光度立体成像技术用于面部细节恢复

    在这篇论文中，我们提出了一种基于光度立体技术的轻量级策略，仅需要稀疏输入或单个图像即可恢复近场光下高保真度的面部形态。通过构建包含 84 个不同主题和 29 种表情的数据集，我们提出了一个专门设计用于光度立体基于 3D 面部重建的新型神经网络。广泛的实验和比较表明，我们的方法可以生成高质量的重建结果。

    Mar, 2020

  • 实现可伸缩的几何和材料多视角重建

    本文提出了一种新方法，通过使用点光源的移动手持捕捉系统，联合恢复无法被固定采集设备捕获的超物体尺度的三维场景的相机姿势，对象几何和空间变化双向反射分布函数，并引入分布式优化算法进行重构

    Jun, 2023

  • 稀疏视角，近光源：非标定点照明光度立体的实用范式

    通过提出一种端到端的非标定多视点 PS 框架，以实现在真实环境中通过稀疏视点获取高分辨率形状的重建，摒弃了黑暗室的假设，并允许静态环境光和动态 LED 光的组合，从而实现了在实验室外轻松捕获数据，并通过实验证实，在稀疏视点情况下超越了现有的基准方法，将高精度三维重建从黑暗室引入到现实世界中，并保持了合理的数据采集复杂性。

    Mar, 2024

  • 利用全局照明上下文的通用光度立体网络

    本文介绍了一种名为 “通用光度立体” 的新光度立体任务，旨在开发出一种无需假定特定光照模型即可适用于各种形状、材料和光照变化的解决方案算法，该算法的实现基于一种纯数据驱动的方法，通过提取通用的照明表示 —— 全局照明环境，代替了以往的物理光照参数恢复，同时通过使用设计的合成数据集训练神经网络，以根据各种形状、材料和光照适应一组新的数据集。通过与其他最先进的未校准光度立体方法进行比较，以演示我们方法的显著性。

    Jun, 2022