具有语义感知的 2DGS 的 3D StreetUnveiler
通过自我监督学习的方法,在不使用 3D 注释的情况下,我们提出了一种自适应街景高斯方法来分解静态和动态元素并取得最佳性能。
May, 2024
通过单目视频输入的方法,本文提出了一种将世界和多个动态人物在 3D 中进行重构的方法,使用新兴的 3D 高斯涂布(3D-GS)表示法来表达世界和多个人物,解决了 3D 人物重构中常见的观测在 3D 空间中非常有限和稀疏的挑战,并演示了方法在各种具有挑战性的例子中可以重构出高质量的可动画 3D 人物,并且在重构后,该方法可以以任意时间片段渲染场景并编辑 3D 场景。
Apr, 2024
该研究论文提出了一种将语义实例标签从二维提升到三维的方法,通过从解析来自立体或激光数据的重建场景的 2D 标签信息,转化到图像域,可更高效地完成像素级别的语义注释与更准确,基于时间的标签。
Nov, 2015
本文提出一种无监督学习方法,通过观察未标记的多视角视频,学习将一个包含多种物体的复杂场景的单幅图像观察映射到一个三维神经场景表示,可以将该表示分解为可移动和不可移动的部分,并通过神经渲染进行自监督训练,从而实现基于对象的三维表示、新视角合成、实例分割和三维边界框预测等多种下游任务,并通过对象操作(如删除、插入和刚体运动)实现场景编辑。
Jul, 2022
本论文提出了一个深度学习框架,通过使用卷积神经网络的多类语义分割和条件生成对抗模型来将显示动态内容的图片转换为逼真的静态帧,这种方法可以被用于增强现实领域和基于视觉的机器人定位目的,并在移除动态对象并模拟它们背后的静态结构方面,展示了我们方法的定性和定量比较结果。
Sep, 2018
该论文提出了一种自动移除和修复街景图中运动物体的替代方案,基于多幅彼此连接的街景图像,利用深度一致性以及分割网络的结果,检测出运动物体并进行修复,并在 1000 个图像数据集上取得了较好的峰值信噪比和 L1 损失结果,同时进行了人眼评估。
Mar, 2019
该论文介绍了一种用于建模动态城市街景的新的显式场景表示方法,其使用带有语义标签和 3D 高斯模型的点云来表示动态城市街景,从而实现了场景的编辑和生成,并且在多个数据集上表现优异。
Jan, 2024
提出了一种新的运动感知增强框架,通过挖掘光流中的有用运动线索来改进动态场景重建,以提高不同动态 3D 高斯喷溅方式的性能,并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明,与基线相比,我们的方法在渲染质量和效率方面都表现出明显的优势。
Mar, 2024
本文提出了一种新型的多视角隐式曲面重建技术 ——StreetSurf,适用于广泛使用的自动驾驶数据集中的街景图像,特别是在没有 LiDAR 数据的情况下,旨在解决街景图像中场景几何形状、纹理等问题。
Jun, 2023