Sep, 2024

将密集度量深度融入神经3D表示用于视图合成与重光照

HTML
PDF
TL;DR本研究针对小场景几何体和照片现实外观的合成问题，提出了一种新方法，将密集度量深度纳入神经3D表示的训练中，以解决机器人应用中因视点限制导致的估计准确性下降。通过对纹理和几何边缘进行区分，该方法在重光照和视图合成方面取得了显著成果，展现了其在多个机器人应用场景中的潜在影响。
发现论文，激发创造
  • 单目相机全局一致深度动态场景新视角合成

    本文提出了一种新的方法，可以从动态场景的一组图像中合成任意视角和时间的图像，通过单视图深度（DSV）和多视图立体深度（DMV）的结合，重新估计视角和时间下的一致性和深度信息，从而精确的合成真实感极强的虚拟视图。

    Apr, 2020

  • 基于双目视觉的深度估计深度学习技术综述

    该研究综述了基于深度学习的立体视觉对图像深度估计的应用，总结了该领域的常见流程、优缺点并探讨了未来可能的方向。

    Jun, 2020

  • NeuralMVS: 多视图立体与新视角合成的桥梁

    本文提出了一种新型网络，利用少量稀疏图像输入，能够恢复三维场景几何信息和高分辨率彩色图像，并通过粗略到精细的球形追踪技术可以大幅提高速度，方法在多个数据集中都取得了可比较的精度。

    Aug, 2021

  • 基于点的神经渲染与每视图优化

    介绍了一种基于多视角渲染的新型的神经渲染方法，该方法可以进一步优化场景属性，包括深度和重投影特征，从而实现改善的新视图合成。

    Sep, 2021

  • 从影子中学习神经表征

    该研究提出一种基于神经投影场的方法，利用阴影来学习场景的神经表示，实现了用稀疏图像信号估计几何信息的目的，并且证明了该方法的泛化能力，并且在与NeRF等其他方法的比较中体现出更好的性能。

    Mar, 2022

  • 准确的几何数据对于密集三维视觉任务的重要性

    本研究探讨了使用传感器数据进行密集型三维视觉问题的解决方法，强调了传感器特性对学习预测的重大影响，通过设计了一个多模态数据集，量化了传感器噪声的影响并为改善密集型视觉估计和有针对性的数据融合铺平了道路。

    Mar, 2023

  • DeLiRa: 自监督深度、光照和辐射场

    本文提出使用自监督深度估计文献中的多视角光度目标作为几何正则化器来对体积渲染进行改进，并使用变压器来显式建模场景几何形状和深度，并展示了这种方法的性能。通过共享潜在编码信息，无需增加网络复杂度，越过单任务学习的局限性，实现了针对受限视角多样性的高质量体积渲染和实时新视角和深度合成的任务，并在ScanNet基准测试中实现了最先进的结果。

    Apr, 2023

  • 基于RGB-D的浓密体辐射场的建图和跟踪

    基于NeRFs的成功，近年来在新颖视角合成领域取得了显著进展。然而，虽然视图合成模型在视觉上看起来很真实，但其底层的3D模型通常是错误的，这限制了它们在实际应用中的有效性。本技术报告介绍了视图合成模型和3D重建模型之间的关键区别，并指出了使用深度传感器进行准确几何建模的重要性。通过扩展Plenoxel辐射场模型，我们对基于RGB-D数据的辐射场密集建图和跟踪任务提出了一种分析微分方法，实现了优于竞争神经网络方法的最新成果，并具有更快的速度。

    Jul, 2023

  • 基于透视成像的可伸缩场景建模：基于物理的外观和几何推理

    本论文通过引入基于物理的模型，介绍了三种新方法来解决通过物理建模推断外观和几何的挑战，从而在处理复杂数据集方面取得了一系列方法上的胜利，为未来在3D场景重建的快速发展领域中的探索和实际应用奠定了一个强大的框架。

    Apr, 2024

  • 基于神经有向距离场的结构光系统深度重建

    我们介绍了一种新颖的基于神经隐式表示法的多帧结构光设置深度估计技术。通过自我监督的可微分渲染训练神经符号距离场（SDF）。与被动视觉不同，我们利用结构光系统中通过投影模式已知的辐射场，实现几何场的独立优化，确保固定设备定位下的收敛性和网络有效性。为了提高几何保真度，我们在训练过程中引入了基于物体表面的额外颜色损失。实际实验表明，我们的方法在少样本情景下在几何性能上具有优越性，并且在增加模式可用性的情况下实现了可比较的结果。

    May, 2024