ViFu: 通过可见部分融合实现带干净背景的多个 360° 物体重建

Apr, 2024

ViFu: 通过可见部分融合实现带干净背景的多个 360° 物体重建

ViFu: Multiple 360$^\circ$ Objects Reconstruction with Clean Background via Visible Part Fusion

Tianhan Xu, Takuya Ikeda, Koichi Nishiwaki

TL;DR我们提出了一种方法，可以从不同时间戳的场景观察中分割和恢复静态、干净的背景以及多个 360° 对象。我们通过观察相同对象在不同排列下的情况，将多场景融合任务分解为两个主要组成部分：对象 / 背景分割与对齐，以及辐射场融合。实验结果证明了我们的方法的有效性。

Abstract

In this paper, we propose a method to segment and recover a static, clean background and multiple 360$^\circ$ objects from observations of scenes at different timestamps. Recent works have used neural radiance fields to model 3D scenes and improved the quality of novel view synthesis, while few studies have focused on modeling the invisible or occluded parts

segmentation recovery invisible parts fusion rendering

发现论文，激发创造

RealFusion: 从单张图像中重建任意物体的 360° 重建

本文提出了一种基于神经辐射场的方法，通过使用已有的条件图像生成器引导其 “创造” 目标物体的新视图，通过 DreamFields 和 DreamFusion 的启发，将给定的输入视图、条件先验和其他正则化参数融合在一起，从而解决了从单张图像进行 360° 拍摄的问题，并在单眼 3D 建模重建中达到了最先进的效果。

Feb, 2023

同时进行地图和物体重建

本文提出了一种用于从 LiDAR 重建大规模城市场景的动态表面重建方法，通过全局优化降低预测表面与输入 LiDAR 扫描数据的距离，实现了对刚性移动物体的运动补偿，并展示了该系统在自动标记局部注释序列和生成难以标记问题的真实注释方面的应用。

Jun, 2024

360 度全景立体图像中的光照、反射和几何估计

本文提出了一种从 360 度立体图像中估计场景高清空间变化光照、反射和几何的方法，该方法利用全景图像获得场景的详细几何信息，结合物理约束共同估计场景属性。通过重建场景的近场光环境、运用深度学习模型推断反射率和表面法线，加入光照与几何之间的物理约束以改进场景的反射率，实验结果表明该方法在增强现实应用中具有 State of the art 的性能有优势。

Apr, 2021

VisFusion：基于可见性的在线视频三维场景重建

提出了一种名为 VisFusion 的可见性感知在线 3D 场景重建方法，通过对单目视频进行姿态估计来恢复场景的体量特征，并提出了细节保留的局部稀疏化方法和分层预测 TSDF 的方法，实验结果表明我们的方法能够获得卓越的性能。

Apr, 2023

MoreFusion: 基于体素融合的多目标推理技术在 6D 位姿估计中的应用

提出了一种基于多视角视野的实时视觉系统，可以从单个 RGB-D 视角提出三维物体姿态建议，并且根据多个视角的姿态估计和非参数占用信息积累这些姿态估计，从而对接触的多个已知对象进行一致的、不相交的姿态估计。应用于实时机器人应用程序中，只使用机载 RGB-D 视觉，机械臂可以精确而有序地拆卸复杂的物体堆放，展示了其准确性和鲁棒性。

Apr, 2020

从 360 度图像中估算 3D 场景几何：一项调查

本文综述了基于单个、两个或多个以全景光学成像系统拍摄的图像的先驱和最先进的三维场景几何估计方法，包括基于全景数据的单目布局和深度推断、球面域上的立体匹配，以及使用多视角相机设置的光场、多视图立体和运动结构等方面的方法，并讨论了各种目的的常用数据集和性能指标。最后，指出了当前和未来的研究趋势。

Jan, 2024

基于神经渲染的自动驾驶城市场景重建

利用多模态数据结合深度学习模型进行密集三维重建，从而提高自动驾驶中的标注验证、数据扩充、缺失 LiDAR 系统的地面真值注释以及自动标记准确性的应用效果。

Feb, 2024

基于双视角帧的复杂动态场景单目稠密三维重建

本文提出了一种新的单目密集三维重建方法，利用超像素过分割模拟动态场景，并减少结构运动中固有的相对尺度模糊问题。经实验表明，该方法在合成和真实单目序列方面相对优于业界最先进的方法。

Aug, 2017

AutoRecon：三维物体自动发现与重建

本文介绍了一种名为 AutoRecon 的新型框架，该框架利用自我监督的 2D 视觉转换器功能，通过多视图图像自动发现和重建对象，并使用分解的神经场景表示进行密集监督，从而实现了准确的对象重建和分割。

May, 2023

复杂动态场景的时空一致性四维重建

本文介绍了一种重建 4D 时间连续场景模型的方法，该方法使用多个移动相机进行重建，可以重建动态或静态物体，同时将稀疏 - 稠密时序对应与联合多视角分割和重建结合使用，利用时间上的连续性克服了视觉歧义，并通过引入测地线星凸性的约束实现了具有鲁棒性的动态物体分割和重建。

Mar, 2016