- 动态 3D 高斯蒸馏
学习使用单目视频作为输入来生成动态三维语义辐射场,其中学习到的语义辐射场捕捉每个点的语义以及颜色和几何属性,以便生成新的视图和相应的语义。通过联合优化外观和语义属性,使得该方法能够实现密集的语义三维物体跟踪,并展示了渲染快速而质量高的多样化 - ICMLS3O:从单目视频重建关节物体的动态形状和骨骼的双相法
提出了一种名为 S3O 的新型两阶段方法,通过学习可见形状和底层骨骼等参数化模型,有效地从有限视角中重建动态关节对象,同时降低计算复杂度和提高重建准确性。
- HR 人形:利用三角网格和视频高分辨率纹理建模人形化身
通过单目视频实现高分辨率物理材质纹理和三角网格的人体模型的获取并结合多视角图像合成的信息融合策略,通过神经隐式表达生成可编辑的变形人体模型。
- 通用神经人体渲染器
我们提出了一种学习通用神经人体渲染器(GNH)的挑战性方法,该方法可从单目视频中呈现可动人体,在没有任何测试时间优化的情况下,通过利用显式的身体先验和多视图几何将外观信息从输入视频传输到输出图像平面。我们的 GNH 通过三阶段的过程实现了非 - 猜测未见之物:从部分二维闪烁中动态三维场景重建
通过单目视频输入的方法,本文提出了一种将世界和多个动态人物在 3D 中进行重构的方法,使用新兴的 3D 高斯涂布(3D-GS)表示法来表达世界和多个人物,解决了 3D 人物重构中常见的观测在 3D 空间中非常有限和稀疏的挑战,并演示了方法在 - 动态高斯网格:从单目视频实现一致的网格重建
使用单个单目视频,通过引入动态高斯网格(DG-Mesh)框架,可以重建出高保真度和时态一致的网格结构,并实现动态对象的纹理编辑。
- 基于单目视频的扩散先验构建可动画的高斯点云拼贴
我们提出了一种从单目视频中使用扩散先验构建可动态重建的三维高斯溅射方法,这种方法可以极大地加速训练和渲染过程,而扩散先验则可以学习仅具备有限观点的三维模型,通过刚性规则化可以增强先验的利用效果,并在多个真实世界视频上广泛评估,展示了与当前最 - Tri$^{2}$-plane:使用特征金字塔进行三维角色重建
我们提出了一种名为 Tri$^2$-plane 的新方法,用于通过单目逼真体积头像重建,通过特征金字塔和三个自上而下的侧连接 Tri-planes 实现细节改进,并通过训练中的相机几何感知滑动窗口方法提高鲁棒性,实验结果表明 Tri$^2$ - GauFRe:用于实时动态新视角合成的高斯变形场
使用可变形 3D 高斯方法进行动态场景重建,将高斯飞溅效果扩展以适应通过多层感知器定义的时间相关变形场的可变形高斯集合的表示,同时使用静态高斯点云允许多层感知器集中其表示能力,最终优化得到与状态最前沿的动态神经辐射场方法相媲美且具有更快的优 - AnimatableDreamer: 文本指导的非刚性三维模型生成与重建的规范分数蒸馏
AnimatableDreamer 是一个文本到四维 (4D) 生成框架,通过从单目视频中提取的物体运动生成多种类别的非刚性物体,借助于我们的创新优化设计,即 Canonical Score Distillation (CSD) 简化了 4 - 增强时空上下文:单目视频中具有时态一致性的稳健 3D 人体动作恢复
提出了一种从单眼视频中恢复时间一致的 3D 人体姿势、形状和动作的方法,通过使用具有身体感知特征表示和独立的逐帧姿势和相机初始化,结合自相似性和自注意力等技术进行时空特征聚合,该方法提供了增强的时空上下文,可在各种复杂场景下得到更准确的姿势 - 单目视频中的广义动态新视角合成今天是否可能?
基于现有技术,本研究建立了一种分析框架,并致力于从给定的单目视频中实现广义动态新视角合成。通过伪广义方法,改进了某些场景特定方法,尽管没有场景特定外观优化。
- ICCV从野外的单目视频实现稳健且平滑的三维多人姿势估计
3D 姿态估计是计算机视觉中一项非常重要的任务,特别是针对多人单目视频(3DMPPE)的 3D 姿态估计仍然具有挑战性,我们提出了 POTR-3D,这是第一个基于序列到序列的 2D 到 3D 模型实现的 3DMPPE,采用一种新颖的几何感知 - ICCV拥挤场景下鲁棒的帧间相机旋转估计
我们提出了一种从手持单目视频中估计拥挤真实场景中相机旋转的方法,通过在 SO (3) 上引入 Hough 变换,可在光流中高效而鲁棒地找到与之最相符的相机旋转,且在速度上比其他方法更准确。
- 从单目视频生成可泛化的人类 NeRF
通过单目视频学习可泛化的人类 NeRF 模型,引入了可见性感知的聚合方案来计算顶点特征,并利用注意机制进一步增强体积特征,用于预测采样点的密度和颜色,同时引入了表面引导采样策略以提高训练和推理的效率。在实验中验证了该方法在广泛使用的 ZJU - 利用 StyleGAN 的个性化视频先验,用于可编辑的动态肖像
本文提出了一种利用单个人的视频作为输入,通过个性化的视频先验学习技术和 Pivotal Tuning Inversion 方法,处理极端的头部姿势,生成可编辑的动态人像,并针对潜在空间进行姿势和表情分离的算法。
- 神经剪发:基于先验引导的基于发丝的头发重建
本文提出了一种名为神经剪发的方法,可以从单眼视频或多视角图像中恢复出具有高逼真度和个性化的发型,该方法有两个阶段并通过不同 iable renderer,通过隐式体积表示对粗糙的头发和胸围形状及发型方向,以及头发的先验进行精确的几何重建,从 - CVPRREC-MV: 从单目视频中重建 3D 动态布料
本文提出了一种名为 REC-MV 的新方法,可以通过优化 3D 服装特征曲线和表面重建来从单目视频中提取出开放式服装网格,结果显示该方法在多个数据集上表现优于现有方法并且能够产生高质量的动态服装表面。
- CVPRDynIBaR: 神经动态图像渲染
本篇论文提出一种基于体积图像渲染的新方法,通过汇集场景相邻视野的特征,以动态场景感知的方式合成新视点,从而在长视频中合成具有真实感的新视图,能够更好地应对复杂的场景动力学和不受限约束的相机轨迹。
- 单目动态视角合成:现实检验
本文研究单目视频的动态视图合成,并通过提出有效的多视图因素、新的评估指标和数据集,揭示了现有方法的不足之处,证明了缺乏多视图信息会影响动态视图合成的质量。