C3DAG:使用 3D 姿势指导的受控 3D 动物生成
使用文本到图像扩散模型指导的 3D 生成方法能够创建具有视觉吸引力的资产,我们提出了一种名为 YouDream 的方法,通过二维视图控制 3D 姿势先验来生成高质量的具备解剖学控制的动物,该方法能够生成以往的文本到 3D 生成方法不能实现的 3D 动物,并且在保持解剖一致性方面表现出色。
Jun, 2024
通过 Virtual Pet 管道,我们介绍了一种解锁生成模型在沉浸式 4D 体验中潜力的方法,用于在 3D 环境中为目标动物物种建模真实多样的动作。通过利用单眼互联网视频并提取可变形 NeRF 表示前景和静态 NeRF 表示背景来规避与环境几何对齐的 3D 动作数据的有限可用性。我们展示了我们的管道的有效性,使用猫视频进行了全面的定性和定量评估,并表明在未见过的猫和室内环境中也具有多样性,为丰富的虚拟体验产生了时间上连续的 4D 输出。
Dec, 2023
提出了一种可控的文本到三维头像生成方法 Text2Control3D,利用 ControlNet 生成视角感知图像,并通过交叉注意力注入可控的面部表情和外貌,通过高斯潜变量的低通滤波解决了视角不可知纹理问题,以及通过学习图片形变表构建三维头像。
Sep, 2023
提出了 Animal3D 数据集,为哺乳动物的 3D 姿态和形状估计提供了全面的数据集,实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务,合成预训练是提高模型性能的一种可行策略。
Aug, 2023
提出了一种基于 3D-SGAN 的语义指导生成模型,利用生成神经辐射场(GNeRF)提取人体的隐式 3D 表示,并用纹理生成器将语义掩码转换为真实图像,为计算机图形学应用中的非刚性物体生成具有照片级真实感的图像。在 DeepFashion 数据集上,比最新的基准表现显著优秀。
Dec, 2021
我们提出了一种从单目视频中构建可动画的狗头像的方法,通过解决动物的姿态变化和外观问题,提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。
Mar, 2024
该研究通过使用一个新颖的基于部件的形状模型,从玩具模型的 3D 扫描中学习了一个能表示狮子、猫、狗、马、奶牛和河马等动物形状的统计形状模型,并通过将人工智能技术运用于真实动物的图像中,证明了它的普适性。
Nov, 2016
我们通过使用去噪扩散方法和注意力模块来提取零件属性之间的相关性,以期缩放和直接控制地生成符合用户约束的物体的几何形状和运动参数,其中 3D 关节物体的建模通常通过繁琐的手动创作或难以扩展和直接控制的先前方法实现。实验结果表明,我们的方法在生成关节物体方面优于现有技术,在产生更逼真的物体同时更好地符合用户约束。
Dec, 2023
通过多视角草图引导的文本到 3D 生成框架,使用预训练的 2D 扩散模型对神经辐射场进行优化,以实现从草图到生成 3D 场景的灵活控制。
Jan, 2024