可微立体视觉：使用可微渲染从多视角生成网格

CVPROct, 2021

可微立体视觉：使用可微渲染从多视角生成网格

Differentiable Stereopsis: Meshes from multiple views using differentiable rendering

Shubham Goel, Georgia Gkioxari, Jitendra Malik

TL;DR本文提出了 Differentiable Stereopsis 方法，这是一种从少量输入视角和嘈杂相机中重建形状和纹理的多视角立体成像方法，其采用传统立体成像和现代可微渲染相结合的方法搭建了一个端到端的模型，通过简单的梯度下降同时更新形状和相机，并通过多量化分析将其与传统的多视角立体成像技术和最先进的基于学习的方法进行比较，在挑战实际场景中展示了有说服力的重建效果。

Abstract

We propose differentiable stereopsis, a multi-view stereo approach that reconstructs shape and texture from few input views and noisy cameras. We pair traditional stereopsis and modern differentiable rendering to

differentiable stereopsis multi-view stereo 3d meshes optimization problem gradient descent

发现论文，激发创造

学习多视角立体机

通过特征投影和反投影沿视线的方式，我们提出了一种用于多视图立体成像的学习系统，通过可微化运算，我们能够对 3D 形状进行度量重构，从而实现在几张相对较少的图像（甚至一张图像）中重建 3D 图像，并且证明了我们的方法在 ShapeNet 数据集上优于传统方法和最新的基于学习的方法。

Aug, 2017

基于混合可微分渲染方法的高效多视角逆向渲染

从自然二维图像中恢复现实世界物体的形状和外观是一个长期存在且具有挑战性的逆渲染问题。本文介绍了一种新颖的混合可微渲染方法，能够从传统手持相机捕捉的多视图图像中高效重构场景的三维几何和反射率。我们的方法采用分析与合成的方法，分为两个阶段。在初始化阶段，我们使用传统的 SfM（结构光型三维重建）和 MVS（多视角立体匹配）方法来大致重建与实际场景相匹配的虚拟场景。然后，在优化阶段，我们采用混合方法来优化几何和反射率，其中几何首先使用近似可微渲染方法进行优化，然后再使用基于物理的可微渲染方法优化反射率。我们的混合方法将近似方法的效率与基于物理的方法的高质量结果结合起来。对合成和真实数据进行的大量实验证明，我们的方法在更高效的同时能够产生与最先进方法相似或更高质量的重建结果。

Aug, 2023

使用可微分蒙特卡罗渲染技术进行统一形状和 SVBRDF 恢复

本文介绍了一种新的分析合成技术，通过鲁棒的粗到细优化和基于物理的可微分渲染，能够重新构建现实世界对象的形状和外观，统一处理几何和反射的优化，利用图像梯度获得物理精度的梯度估计。

Mar, 2021

代数曲面近似可微渲染

本文提出一种称为 “Fuzzy Metaballs” 的紧凑且可解释的表示形式的近似可微渲染器，该渲染器主要通过深度图和轮廓渲染形状，相对于网格的可微渲染器，我们的方法具有更高的效率和质量，可用于解决视觉任务，评估中我们发现，我们的方法是唯一可以与传统技术媲美的，适用于姿态估计和轮廓重建。

Jul, 2022

通过可微路径追踪，重建图像中的三维物体几何形状和 SVBRDF 材质

通过不同 iable ray tracing 优化初始粗略网格和每个网格面材质表示，从而实现从低分辨率输入视图中重建细粒度几何和材料细节，本文证明不同 geometry 的初始化对重建的影响，并展示如何在无约束环境中通过智能手机视频和消费者 360° 摄像机的输入来优化实际物体的初始重建。

Dec, 2020

使用可微分渲染技术，通过移动设备获取带纹理物体的网格模型

本研究提出了一种新的流程来使用一部智能手机获取真实世界中带纹理的网格模型，使用 RGBD 辅助构建方法生成过滤的深度图和精确的相机姿势，核心技术采用神经隐式表达重建算法以及不同 iable 的渲染方法生成更加接近真实场景的纹理，并验证了该方法的性能对比其他 3D 重建 + 贴图算法。

Mar, 2023

MVDiff: 可扩展灵活的多视图扩散用于从单视图进行 3D 物体重建

通过引入情景表示变换器和视图条件扩散模型，该论文提出了一个通用框架，用于从单个图像生成一致的多视图图像。通过多视图注意力和极线几何约束来确保三维一致性，该模型能够从仅一个图像输入生成超过基准方法在评估指标（包括 PSNR、SSIM 和 LPIPS）方面的三维网格。

May, 2024

使用多平面图像进行单视图合成

该论文利用深度学习技术对单张图片进行多平面图像生成，应用于视图合成问题中，并将 scale-invariant 视图合成应用于监督训练，在在线视频上进行训练。该方法适用于多个数据集，可以生成合理的深度图，并且可以学习填充前景物体背后的内容。

Apr, 2020

SurfaceNet: 一个端到端的 3D 神经网络，用于多视点立体成像

该论文提出了一种名为 SurfaceNet 的端到端学习框架，可用于多视图立体成像中的 3D 建模，并通过大规模 DTU 基准测试对 SurfaceNet 进行了验证。

Aug, 2017

3D 高斯差分渲染的灵活技术

快速可靠的形状重建是许多计算机视觉应用的关键要素。神经辐射场证明了逼真的新视角合成是可行的，但在对实景和物体进行快速重建方面要求表现。最近的几种方法基于其他形状表示，特别是 3D 高斯函数。我们对这些渲染器进行扩展，例如集成可微分光流、导出满封闭网格和按射线渲染法线。此外，我们展示了两种最近方法之间的互操作性。这些重建速度快、鲁棒，并且可以在 GPU 或 CPU 上轻松执行。详细的代码和可视化示例请参见网址：https:// 此处为网址

Aug, 2023