单张图像生成 3D Ken Burns 特效
本文提出了一种新的方法,可以从动态场景的一组图像中合成任意视角和时间的图像,通过单视图深度(DSV)和多视图立体深度(DMV)的结合,重新估计视角和时间下的一致性和深度信息,从而精确的合成真实感极强的虚拟视图。
Apr, 2020
本文介绍了一种端到端的系统,用于创建和查看单张 3D 照片,并阐述了算法和设计选择。作者采用新的单眼深度估计网络从 2D 输入图像中获取深度,在移动设备上进行处理,然后将其转换为基于网格的表示形式。这一方法在移动设备上仅需几秒钟的处理时间。
Aug, 2020
研究探讨了在混合数据深度预测训练中使用的位移不变重建损失所引起的未知深度偏移及可能的未知相机焦距问题,并设计了一个两阶段框架以实现单目图像深度预测,并使用三维点云编码器预测遗漏的深度偏移和焦距以恢复逼真的3D场景形状,本文提出了图像级标准化回归损失和基于法向几何损失的方法,以增强用混合数据集训练的深度预测模型,该深度模型在9个不可见数据集上测试并取得了零样本数据集泛化的最新性能记录。
Dec, 2020
该研究提出使用隐式密度场而非神经辐射场作为图像的几何场景表示,通过自监督训练神经网络能够在单个前向传递中预测该场景表示,并且可以在深度预测和新视角合成方面进行体积渲染。实验表明,该方法能够预测出输入图像中遮挡区域的有意义几何信息。
Jan, 2023
通过混合数据集训练模型,预测几何保持的深度,并通过渲染重建场景的新视图以及设计损失函数,促进不同视角下深度估计的一致性,实现了对领域特定尺度和平移系数的自主恢复,优于现有最先进方法的多个基准数据集。
Sep, 2023
3DGStream是一种用于实时流式传输现实世界动态场景的方法,通过使用3D高斯(3DGs)表示场景,并利用紧凑的神经转换缓存(NTC)来建模3DGs的平移和旋转,从而实现了每帧12秒内的快速即时重建和200 FPS的实时渲染,同时提出了自适应3DG添加策略来处理动态场景中出现的新物体。实验证明,与最先进的方法相比,3DGStream在渲染速度、图像质量、训练时间和模型存储方面表现出了竞争力。
Mar, 2024
提出了一种自监督方法,可以从单目视频中联合学习3D运动和深度。通过利用深度和运动网络相互协作来准确建模现实场景的几何和动态,进而改进了深度估计和3D动作估计的性能。
Mar, 2024
通过三个创新点,本研究提出了一个名为DCPI-Depth的框架,该框架采用稠密对应先验,通过上下文信息和光流进行深度感知,实现了在具有挑战性场景中的准确深度估计,并展示了更合理的平滑性。
May, 2024
本研究针对小场景几何体和照片现实外观的合成问题,提出了一种新方法,将密集度量深度纳入神经3D表示的训练中,以解决机器人应用中因视点限制导致的估计准确性下降。通过对纹理和几何边缘进行区分,该方法在重光照和视图合成方面取得了显著成果,展现了其在多个机器人应用场景中的潜在影响。
Sep, 2024
本研究解决了3D高斯点阵在准确表示场景几何方面的局限性,提出了一种新的方法,通过在优化过程中整合深度先验动态改进高斯原件的表示。实验结果表明,该方法能够有效提高深度图的准确性,对该领域具有重要影响。
Sep, 2024