PoseGen: 用 NeRF 学习生成 3D 人体姿势数据集
基于 NeRF 的人体表演姿态依赖渲染的新方法,通过将辐射场围绕 SMPL 人体模型进行扭曲,实现了新的表面对齐表示,可以通过骨骼关节参数和视点来实现动画化,并通过引入新的重新映射过程来实现高质量渲染。
Nov, 2023
GHNeRF 是一种新颖的方法,通过学习 2D/3D 人体关节位置与 NeRF 表示来解决 3D 人体表示中缺乏的关键信息,以实现对人体生物力学特征的编码,并得到接近实时的最先进结果。
Apr, 2024
该论文介绍了 DatasetNeRF,一种新颖的方法,它能够生成无限数量、高质量的与 3D 一致的 2D 注释和 3D 点云分割,同时利用最少的 2D 人工标注。
Nov, 2023
利用神经辐射场技术从现有的 2D 和 3D 数据集生成特别适用于鱼眼透视的顶视图人体姿势数据集,并评估其在增强 2D 和顶视图 3D 人体姿势估计中的有效性。
Feb, 2024
本文提出了一种简单而有效的方法,使用多视角图像作为条件输入,训练出适用于不同人的可泛化 NeRF,该方法的关键部分是将规范空间与输入和目标图像相连,并利用参数化的 3D 人体模型来导出变形,本方法在实现新视角合成和姿势动画任务方面表现出了很好的效果。
Mar, 2022
我们将来自未知姿态的多视图重建问题作为一个生成建模问题。通过一组未标注的场景的 2D 图像,我们的方法同时学习了一个网络来预测从 2D 图像输入中的相机姿态,并学习了用于 3D 场景的神经辐射场(NeRF)的参数。通过在标准去噪目标下使用去噪扩散概率模型(DDPM)将姿态预测网络和 NeRF 结合在一起并训练系统来推动学习进展。我们的框架要求系统通过预测图像的姿态并渲染 NeRF 来完成去噪输入 2D 图像的任务。学习去噪因此迫使系统同时学习底层的 3D NeRF 表示和从图像到摄像机外参数的映射。为了促进后者,我们设计了一个自定义的网络架构来将姿态表示为一个分布,从而在仅进行去噪训练时具备发现视图对应关系的隐式能力。这种技术允许我们的系统成功构建 NeRFs,并在竞争方法失败的具有挑战性的场景中使用。在训练结束时,我们学习到的 NeRF 可以被提取并用作 3D 场景模型;我们的完整系统可以用于采样新的相机姿态并生成新的视角图像。
Jun, 2024
本文提出将新视角合成应用于机器人重定位问题,通过 NeRF 类算法所渲染的额外合成数据集,从内部表示的三维场景几何形态中选择虚拟相机位置,进一步改进了姿态回归器的定位精度,结果大幅降低了 Cambridge 地标和 7 景数据集的误差,并将精度与基于结构的方法相媲美,无需架构修改或领域适应性约束,因为该方法允许几乎无限产生训练数据,我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制,得出结论,姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制,而非姿态回归模型解决本地化任务的能力。同时,采用合成的逼真且具有几何一致性的图像进行数据增强。
Oct, 2021
HumanNeRF 是一种通用的神经表示方法,它沿着多视角输入引入了一个聚合像素对齐特征,并使用一种姿态嵌入的非刚性变形场来处理动态运动,进而通过外观融合模块进一步提高渲染质量,实现了在各种多视角动态人体数据集上合成具有照片般逼真的自由视角人类的高效和通用性。
Dec, 2021
利用 Neural Radiance Fields (NeRFs) 训练高分辨率 3D 重建,包括使用 HoloLens 数据提取内部摄像机姿态和通过结构光运动提取外部摄像机姿态,两者均通过姿态优化得到改善;结果表明,相较于传统的 Multi-View Stereo 密集重构方法,在完整性和细节层面上,NeRF 重建表现更好。
Apr, 2023