- 通用神经人体渲染器
我们提出了一种学习通用神经人体渲染器(GNH)的挑战性方法,该方法可从单目视频中呈现可动人体,在没有任何测试时间优化的情况下,通过利用显式的身体先验和多视图几何将外观信息从输入视频传输到输出图像平面。我们的 GNH 通过三阶段的过程实现了非 - 多视图重建中通过体渲染学习拓扑统一的人脸网格
我们提出了一种面向多视角重建的具有一致拓扑的面网格的网格体渲染方法,通过将稀疏网格特征扩散到周围空间以模拟体渲染所需的辐射场,从而实现对网格几何和隐式外观特征的梯度反向传播,并展示了变形不变性的特性以实现网格编辑后的逼真渲染。
- CVPRNECA:神经可定制人形化身
NECA 是一种能够从单目或稀疏视点视频中学习多用途的人体表示的方法,能够通过体积渲染从几何、色素、阴影和外部光照等分离的神经场预测来获得具有高频细节的逼真渲染,并在光照方面具有超越最先进方法的优势。
- GS-IR: 逆渲染的三维高斯散射
我们提出了 GS-IR,一种基于 3D 高斯零碎描绘的新型逆向渲染方法,利用前向映射体积渲染实现逼真的新视角合成和重新照明结果。我们通过对多视图图像进行捕捉,从未知照明条件中估计场景几何、表面材质和环境照明,克服了先前使用隐式神经表示和体积 - TraM-NeRF: 通过神经辐射场追踪镜面和近乎完美的镜面反射
我们提出了一种针对 NeRF 中参与体积渲染的镜像对象的反射追踪方法,通过明确建模反射行为并使用蒙特卡洛方法估计反射辐射度,我们推导出有效的重要性采样和光线透射率计算策略,从而实现了对具有挑战性场景的一致表示的训练,并在与先前最先进方法的比 - DT-NeRF:高保真说话肖像合成的分解三面体哈希神经辐射场
通过分解三层散射哈希神经辐射场(DT-NeRF)框架,将口腔和面部其他特征分别建模,加入音频特征并利用神经辐射场(NeRF)的能力,以增强人脸的体积表示,从而在逼真渲染的说话人脸方面取得了最先进的结果。
- CVPR构想一款高效逼真的人体渲染技术的下一代扩展现实会议系统
该研究探索了一种基于 Neural Radiance Field 和自由视点合成的算法用于更高效地呈现真实感更强的人类动态,以进一步在元宇宙会议系统中实现更沉浸式的会议体验。
- Fantasia3D:高质量文本转 3D 内容创作中的几何形状和外观分离
本文提出了一种新的高质量文本到三维内容创作方法,在几何和外观上采用分离式建模和学习,支持物理模拟和编辑。实验结果显示,本方法在不同的文本到 3D 任务设置下优于现有方法。
- ECCV用笼子变形辐射场
本文提出了一种基于三角网格和笼状变形的方法,实现了光度场的自由形变,从而实现了可操纵和渲染的 3D 场景。
- NeuMan: 从单个视频中获取人类神经辐射字段
本文提出了一个新的框架,用于从野外视频中重建人体和场景,并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型(human 和 scene),并依赖现有方法估计人体和场景的大致几何形状,可以从观察空间创建到无关姿态的规 - 实时逼真的说话人头部动画
本文介绍了一种由音频信号驱动的、生成具有个性化的逼真说话动画的活体系统,包括从音频信号中提取深度音频特征,分析面部动态和姿态,并在最终的阶段生成逼真的面部细节。
- 神经轨迹场用于动态新视角合成
本论文提出了 DCT-NeRF,一种基于坐标的神经表示方法,用于动态场景的高质量重建,它学习空间中每个点的平稳和稳定轨迹,并强制执行序列中任意两帧之间的一致性。
- ICCVWorldsheet: 从单张图像生成视角综合的三维平面
我们提出了一种名为 Worldsheet 的方法,可以使用单一的 RGB 图像进行新视角综合。方法利用可学习的中间深度一致地将平面网格板缩包到输入图像上,并掌握足以生成大视角变化下的逼真未见视角的底层几何知识。我们的方法是类不可知的,可在不 - 基于光场推理的折射物体透明度定位
使用光场传感和照片逼真渲染提出了一种适用于透明物体的位姿估计算法 LIT,并引入相应数据集 ProLIT,实现了对透明物体的识别、定位和位姿估计。实验结果表明,在 ProLIT 数据集上,LIT 算法能够胜过现有的位姿估计方法。
- 基于逼真渲染的深度学习航天器姿态估计
利用深度学习和逼真的渲染技术进行空间交会、对接和空间碎片清理中的六自由度姿态估计,通过提出一种面向方向软分类的深度学习框架,通过在 Unreal 引擎 4 上构建模拟器生成标注图像,且在欧洲航天局的姿态估计竞赛中取得了第三名和第二名的优异成 - Synscapes:用于街景解析的照片级合成数据集
使用逼真的渲染技术创建的 Synscapes 合成数据集在街景分割的训练和验证方面展示了最先进的结果,并研究了网络在合成数据上推断时的行为,并分析了现有分割和检测模型,为计算机视觉系统的分析提供了细微的信息。
- SceneNet RGB-D: 500 万逼真合成室内运动轨迹图像及地面真实性数据集
SceneNet RGB-D 提供了室内场景轨迹的大规模真实渲染,为场景理解和几何计算机视觉问题提供像素级完美的标签数据,以及适用于从头开始使用 RGB-D 输入的数据驱动的计算机视觉技术的预训练数据集,并且也提供了探索 3D 场景标注任