- FAGhead: 单目视频中完全动画的高斯头部
该研究介绍了 FAGhead 方法,通过使用单目视频,基于传统的三维可塑网格形状和优化中性三维高斯模型,结合可学习的高斯点位置的基于点的可学习表示场(PLRF),以及通过引入 alpha 渲染来管理化身的边缘,实现了高保真度的三维人头像重建 - 用于非正式单目视频新视角合成的动态高斯大理石
通过引入 DGMaebles 方法,本研究在单目视频中扩展了 Gaussian 场景表示的能力,实现了新视角渲染和准确捕捉场景元素的三维运动,同时在质量上显著优于其他高斯基准,并与非高斯表示保持效率、合成能力、可编辑性和跟踪优势的水平。
- 通过分解神经场表示可动化头像
使用双分支网络和体积渲染生成照片级逼真的 3D 人体图像,通过限制频率分量和观察帧一致性,实现了保留高频细节和确保身体轮廓一致性的高保真度人体 3D 模型重建。
- MoDGS: 动态高斯分布从偶然捕获的单目视频
在本文中,我们提出了 MoDGS,这是一个新的管道,可以利用仅有的随意捕捉的单目视频生成动态场景的新视角图像。MoDGS 采用了最近的单视图深度估计方法来指导动态场景的学习,并提出了一种新的三维感知初始化方法来学习合理的变形场和新的鲁棒深度 - 动物头像:从日常视频重建可动画的 3D 动物
我们提出了一种从单目视频中构建可动画的狗头像的方法,通过解决动物的姿态变化和外观问题,提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。
- DO3D: 自监督学习单目视频的分解目标感知 3D 运动和深度
提出了一种自监督方法,可以从单目视频中联合学习 3D 运动和深度。通过利用深度和运动网络相互协作来准确建模现实场景的几何和动态,进而改进了深度估计和 3D 动作估计的性能。
- DRSM:用于静态单目摄像机中的动态重构的高效神经 4D 分解
通过使用单个视图,我们提出了一个新的框架来解决动态场景的四维分解问题,并通过密集光线投射强调动态区域的学习,从而克服了单个视图和遮挡带来的挑战,并实现了比现有方法更高保真度的单视图动态场景表示。
- CTNeRF:来自单眼视频的动态神经辉度场的跨时间变压器
我们的研究目标是从复杂动态场景的单目视频中生成高质量的新视图。为了解决过去方法在准确建模复杂物体运动方面的局限性,我们提出了一种新方法,结合了近期的广义 NeRF 和在时间和频率域中操作的模块,以改善动态场景的图像合成的精确度和视觉质量。
- 建模动态城市场景的街道高斯函数
该论文介绍了一种用于建模动态城市街景的新的显式场景表示方法,其使用带有语义标签和 3D 高斯模型的点云来表示动态城市街景,从而实现了场景的编辑和生成,并且在多个数据集上表现优异。
- HeadRecon:基于单目视频的高保真三维头部重构
从任意单眼视频中重建高保真 3D 头部模型的方法。设计了一个带有两个动态变形场的动态隐式神经网络,通过学习的有符号距离场在规范空间中建模头部几何形状,以提高重建精度和鲁棒性。与先进方法的大量消融研究和比较显示出我们提出的方法的有效性和鲁棒性 - 用于单目非刚性物体重建的神经参数高斯模型
通过引入神经参数高斯(NPGs)模型,本文通过两阶段的方法来重建动态物体,即先学习对象的变形,再通过优化三维高斯模型来获得高质量的物体重建,从而在新视角中保持三维一致性,并在少量多视图线索的挑战性场景中取得优越的结果。
- 从单目视频中高质量可动画的动态服装重构
首次提出从单目视频中恢复高质量可动态调整的服装的方法,通过可学习的服装变形网络和多假设变形模块实现,实验结果表明可生成具有连贯表面细节的高质量动态服装,并可在未见过的姿势下轻松实现动画效果。
- DynPoint: 动态神经点对视图合成
为了解决现有算法在处理无控制或长时间场景时的困难以及需要针对每个新场景进行大量训练时间的限制,我们提出了 DynPoint 算法,用于实现无约束单目视频的快速合成新视角。该算法通过预测相邻帧之间的显式 3D 对应关系来实现信息聚合,并利用这 - 从视频中重建可动画类别
利用可微分渲染实现从单个视频中生成人,猫和狗等动物的可动态三维模型,并通过优化特定的骨架实现实例化,使用潜在空间正则化鼓励类别间的共享结构并同时维护实例的细节和使用三维背景模型将对象与背景分离。
- TAPE:基于时间注意力的概率人体姿态和形状估计
该研究提出了一种基于时间注意力的概率人体姿势和形状估计方法(TAPE),通过对一段视频进行编码并使用概率分布输出估计的人体姿势,相比于其他方法在标准基准测试中表现更好。
- Total-Recon: 嵌入式视角合成的可变形场景重建
本文提出了 Total-Recon 方法,用于从长时间单目 RGBD 视频中重建变形场景并进行自由视点合成,通过场景运动层次分解,实现了快速高效的实现,并最终超越以往的方法。
- CVPRVisFusion:基于可见性的在线视频三维场景重建
提出了一种名为 VisFusion 的可见性感知在线 3D 场景重建方法,通过对单目视频进行姿态估计来恢复场景的体量特征,并提出了细节保留的局部稀疏化方法和分层预测 TSDF 的方法,实验结果表明我们的方法能够获得卓越的性能。
- 解耦动态单目视频以进行动态视角合成
通过无监督学习方法,提出了一种基于分解动态物体运动和相机运动的动态视图合成方法,包括非监督表面一致性和基于路径的多视图约束,可实现准确的 3D 运动建模,从而提高合成质量并相比现有方法精确地生成场景流和深度
- CVPRFlexNeRF:从稀疏视角实现移动人体的逼真自由视点渲染
FlexNeRF 是一种用于运动中的单人视频的拍摄的光线追踪方法,其通过平稳的时间和姿态调整相结合来获得高质量的输出。
- ICLR使用独立标记捕捉每个关节的动作:三维人体姿态和形状估计
提出一种基于 Transformer 的模型,使用三种独立的 tokens 学习人体的 3D 关节旋转,身体形状和位置信息,进而估算 SMPL 参数,从而解决单目图像或视频中 3D 人体姿态和形状估计的困难问题,并具有较好性能。