运动形状:从单个视频中的4D重建
该论文介绍了一种不需要先验知识的方法,利用多视角相机从复杂动态场景中获取4D的、时间相干的场景模型的无监督重构,并通过应用于自由视角渲染和虚拟现实中,改善了非刚性对象分割和形状重构的精度。
Jul, 2019
使用倾斜感应器跟踪非刚性形变场景,介绍了一种新的数据驱动方法——4DComplete,它可以从局部形状和运动观测中,提取4D时空嵌入,并使用稀疏的全卷积网络共同推断缺失的几何和运动场,并通过大规模的综合数据集DeformingThings4D进行网络训练,实现从部分观测中重建高分辨率的体积形状和运动场、学习纠缠的4D特征表示以支持形状和运动估计、比经典非刚性先验deformation更准确自然,并且在真实场景中推广性好。
May, 2021
通过无监督学习方法,提出了一种基于分解动态物体运动和相机运动的动态视图合成方法,包括非监督表面一致性和基于路径的多视图约束,可实现准确的3D运动建模,从而提高合成质量并相比现有方法精确地生成场景流和深度
Apr, 2023
利用SceNeRFlow提出了一种基于dynamic-NeRF方法的时间一致的方式来重建非刚性场景,通过将形状和外观的变形分解成粗糙和微弱的两个组成部分,使得该方法可以处理大范围的运动,并且可以重建大规模运动场景。
Aug, 2023
通过估计4D(包括3D几何和场景运动)并填充遮挡区域,本文提出了Make-It-4D方法,从单个图像中生成一致的长期动态视频。通过使用分层深度图像(LDIs)表示场景,并利用运动估计和相应的相机姿势引导的场景流来位移特征点云,我们的方法能够保持生成动态视频的全局一致性,并利用预训练扩散模型来修补输入图像的遮挡区域,从而适用于大幅度相机运动。实验结果证明了我们方法的有效性,展示了引人注目的渲染结果。
Aug, 2023
通过使用单个视图,我们提出了一个新的框架来解决动态场景的四维分解问题,并通过密集光线投射强调动态区域的学习,从而克服了单个视图和遮挡带来的挑战,并实现了比现有方法更高保真度的单视图动态场景表示。
Feb, 2024
提出了一种自监督方法,可以从单目视频中联合学习3D运动和深度。通过利用深度和运动网络相互协作来准确建模现实场景的几何和动态,进而改进了深度估计和3D动作估计的性能。
Mar, 2024
重建现实世界的模型,包括三维几何、外观和场景的运动,是计算机图形学和计算机视觉的核心问题。该研究汇总了最新的技术,并讨论了非刚性场景的三维重建、场景分解和编辑、通用建模等内容,同时探讨了其中的限制和挑战。
Mar, 2024
DreamScene4D是一种能够从野外单眼视频中生成多个物体的三维动态场景的方法,通过设计“分解-重组”方案,将视频场景及每个物体的三维运动进行分解,并使用开放词汇遮罩跟踪和适应性图像扩散模型对视频中的物体和背景进行分割、追踪和完整修复。
May, 2024
通过引入OSN框架,本研究旨在学习与输入视频匹配的所有可能的三维场景配置,而不仅仅推断出一种具体的解决方案,通过使用简单而创新的对象尺度网络和联合优化模块来学习每个动态三维物体的准确尺度范围,从而尽可能采样多个忠实的三维场景配置,并通过在多个合成和真实数据集上进行广泛实验证明了我们的方法在动态新视图合成中超越了所有基线,并实现了更高的准确性,尤其在学习细粒度的三维场景几何中展现出明显优势。
Jul, 2024