- EasyHeC:基于可微分渲染和空间探索的精确自动手眼标定
EasyHeC 是一种新的手眼标定方法,采用无标记,白盒的方法,通过可微分渲染的摄像头姿态优化和基于一致性的关节空间探索,能够准确优化标定过程,消除手动设计机器人关节姿势的繁琐过程。通过在合成和真实的数据集上进行评估,EasyHeC 表现出 - 从热反射还原 3D 人体模型:人类作为灯泡
本研究利用人体发出的红外热辐射在物体表面形成反射的原理,通过分析 - 合成框架,结合不同 iable 度的渲染技术,实现了人体姿态重建,可以在非常具有挑战性的情况下工作,例如弯曲的镜子或者被正常摄像机完全看不到的情况。
- TextDeformer: 使用文本指导进行几何形状操作
本研究提出了使用可微分渲染进行网格变形的方法,通过使用 Jacobians 的方法解决了传统方法中的问题,并使用 CLIP 等预训练的图像编码器来对几何和图像进行连接,实现了对于形状和细节的变形。
- 朝现实的生成三维人脸模型
本文提出使用 2D 生成模型加上面部特征操作来创造 3D 可控制生成人脸模型的方法,可进行文本编辑、样式编辑和生成精确的 3D 形状和更高质量的色彩。
- 通过 3D 模型估计跟踪未知视频对象
本文提出一种新的方法,在视觉目标追踪方面通过 3D 形态和位姿表达,结合可微分渲染技术优化一个新型的损失函数,取得了在三个数据集上追踪刚性物体方面的最新进展。
- CVPR使用可微分渲染技术,通过移动设备获取带纹理物体的网格模型
本研究提出了一种新的流程来使用一部智能手机获取真实世界中带纹理的网格模型,使用 RGBD 辅助构建方法生成过滤的深度图和精确的相机姿势,核心技术采用神经隐式表达重建算法以及不同 iable 的渲染方法生成更加接近真实场景的纹理,并验证了该方 - CVPR意外的光探针
通过使用基于物理的方式模拟表面细节和反射,并通过不可区分渲染技术破解反向渲染方程,有效地从含有意外漏光探针的单张图像中恢复光照,从而实现高保真度的光照估计。
- GET3D: 从图像中学习高质量 3D 纹理形状的生成模型
GET3D 是一种 3D 生成模型,能够直接生成具有复杂拓扑结构、丰富几何细节和高保真纹理的显式纹理 3D 网格,从而显著改进了以往的方法。
- ECCVPRIF:基于主射线的隐式函数
本文提出了一种称为 Primary Ray-based Implicit Function (PRIF) 的新的隐式形状表示方法,能够高效地进行形状的提取和可微渲染,并成功地用于单一形状表示、类别化形状生成、稀疏或噪声观测下的形状补全、相机 - DPODv2:基于密集对应的 6 自由度姿态估计
本文提出了一种基于密集对应的三阶段六自由度物体检测方法,称为 DPODv2(密集姿势物体检测器),结合了 2D 物体检测与密集对应估计网络以及多视图姿态细化方法来估计完整的 6 自由度姿态,其使用了不同成像模式(RGB 或 Depth)作为 - 使用蒙特卡罗渲染和去噪从图像中分解形状、光线和材料
本文研究了不同渲染技术的发展,提出一种整合了射线追踪、蒙特卡罗积分、多种重要性采样和去噪的反渲染流程,可以有效地重建三角网格几何、材质和光照,改善材质和光照分离,并提高梯度优化的效果和收敛速度。
- CVPRGenDR:通用可导渲染器
本文研究了可微分渲染器相关的各个基础组件的需求,提出了一种广义的可微分渲染器,并利用不同的平滑分布进行了实例化,通过在 ShapeNet 3D 重建基准测试上的多种尝试,分析了结果的影响。令人惊讶的是,在 13 个类别中的平均结果上,简单的 - 逆向渲染中间接照明建模
本文提出一种新的方法来有效地恢复具空间变化的间接光照。该方法使用输入图像学习的神经放射场方便地导出间接光照,并采用适当建模的方法恢复直接光照的可见度和间接光照的折射 - 阴影自由反照率,以达到优于先前方法的效果。
- Texturify: 在 3D 形状表面上生成纹理
提出了 Texturify,这是一种基于 GAN 的方法,利用一个物体类的 3D 形状数据集,学习通过生成高质量的纹理来复制在真实图像中观察到的外观分布的技术。
- ECCV合成孔径雷达图像的可微分渲染
本文提出了一种使用合成孔径雷达图像进行可微分渲染的方法,结合了 3D 计算机图形学和神经渲染,并在高保真模拟 SAR 数据上演示了从有限 SAR 图像重建 3D 对象的逆图形问题。
- FaceVerse: 一种来自混合数据集的细粒度和细节可控的 3D 面部可变模型
提出了 FaceVerse,这是一个精细的 3D 神经人脸模型,利用混合的东亚人脸数据集建立,通过基于大规模 RGB-D 图像生成基本参数模型,再利用高保真的 3D 头部扫描模型选用 StyleGAN 结构进行精细调整,同时结合基本属性和面 - NeILF: 基于神经网络的物理感材料估计的入射光场
本文提出了基于可微分渲染的方法,通过神经入射光场和多层感知机模擬的表面 BRDF 模型来实现多视图图像和重构几何体的物质和照明估计,该方法能够准确估计静态场景的照明,并可自然处理遮挡和间接光线,未需多次反射。我们在多个场景数据集上实验,结果 - 从图像中提取三角形 3D 模型、材质和照明
本文提出了一种简便的多视角图像观察下拓扑、材料和照明的联合优化方法,通过不同 iable rendering、基于坐标的网络紧凑地表示体积纹理,并在表面网格上直接进行梯度优化,最后介绍了一种环境光的差异化公式,证明了我们的模型可以用于场景编 - ICCVPixelSynth: 从单张图像生成 3D 一致的体验
使用可微分渲染和 3D 推理相结合的自回归建模方法,实现了单幅图像的大视角高度一致性生成,比其他方法在视图生成和 3D 一致性方面具有显著的改进。
- ICCV通过非可微取样的可微曲面渲染
提出一种能够支持显式和隐式表示,可在遮挡边界提供导数的 3D 表面的可微渲染方法,使用非可微光栅化对表面进行采样,然后应用可微的深度感知的点喷洒技术生成最终图像,适用于大型 3D 模型和隐式表面定义提取的等值面的应用。