- PaintNeSF: 用矢量化的 3D 笔画进行风格化景物的艺术创作
我们提出了一种新技术 Paint Neural Stroke Field(PaintNeSF),用于根据多视角 2D 图像生成 3D 场景的任意新视角的风格化图像。
- 用于少样本全头重建的隐式形状和外观先验
该研究利用坐标为基础的神经表示学习技术,在少样本条件下实现了全 3D 头部重建,并结合概率形状和外观先验,通过可微分渲染器引导符号距离函数的拟合过程,实现了高效准确的重建,同时利用 H3DS 数据集证明了该方法在几何重建方面具有出色的性能并 - 基于物体中心射线采样的稀疏三维重建
我们提出了一种从由 360 度校准相机组拍摄的一组稀疏视图中重建 3D 物体的新方法。我们通过混合模型,使用基于 MLP 的神经表示和三角形网格,表示对象表面。我们工作的一个关键贡献是一种新颖的以对象为中心的神经表示采样方案,其中的光线在所 - CVPR半透明蠕虫的三维形状重建
本文提出一种使用自适应模糊和透明度来对比图像进行候选形状渲染的方法,以追踪 3D 复杂流体中自由运动的像微生物一样的动物 Caenorhabditis elegans 的形状。通过使用本文提出的不同 iable renderer,结合梯度下 - LiDAR-NeRF: 基于神经辐射场的全息 LiDAR 视角综合
本文提出了一种用于 LiDAR 传感器的新型视角合成任务,并介绍了一种可微分的 LiDAR 渲染器及其结合神经辐射场的端到端框架,证明了该方法在多种数据集上的优越性。
- Score Jacobian Chaining:将预训练的 2D 扩散模型提升至 3D 生成
本文提出一种基于扩散模型的新方法,利用可微分渲染器的雅各比矩阵,将二维数据转化为三维数据生成,解决了分布不匹配的技术挑战,并将该算法应用于多个离线扩散图像生成模型。
- ICCV场景理解中的候选提议选择游戏中的 MCTS 算法和优化
本文提出了一种新方法,使用 Monte Carlo Tree Search(MCTS)算法,从生成的建议池中联合选择和优化建议,以最小化对象项,并且在地面平面重建和 3D 房间布局重建应用中得到了很高的性能表现。
- CVPR多层图像的立体放大
该论文提出了一种基于多个半透明图层和场景适应几何的视图合成方法,可以从立体对中推断几何,颜色和透明度值,通过可微分的渲染器进行训练,并展示了其在渲染速度和渲染效果等方面优于传统方法和基于隐式几何表示的 IBRNet 系统。
- ICCV使用 3D 空间变化的照明学习室内反渲染技术
本文提出了一种用于室内场景的统一、基于学习的逆渲染框架,包括反照率、法线、深度和三维空间变化的照明的联合估计,其中设计了一种基于物理学的可微渲染器,利用我们的三维照明表示,形成能量守恒的图像形成过程,实现所有内在属性的联合训练,以重新渲染约 - CVPR生成对抗网络反演渲染器用于面部重建
本文提出了一种新型生成对抗渲染器(Generative Adversarial Renderer,简称 GAR)和用于预测 3D 面部参数的优化方法,该 GAR 利用神经渲染器而非传统的渲染规则来产生逼真图像,从而增强了训练和优化的稳定性, - CVPR深度 3D 到 2D 数字水印技术:在三维网格中嵌入信息并从二维渲染中提取
本研究提出了一种新的端到端学习框架,通过深度嵌入编码器,在 3D 模型的几何和纹理中实现数字水印嵌入,利用可微渲染器从不同角度和光照条件下渲染模型,并通过解码器从 2D 渲染图像中恢复信息。实验证明,该模型可以从扭曲 / 未扭曲的水印 3D - 面向高性能可微分渲染的模块化基元
通过利用现有的高度优化的硬件图形管道,我们提出了一种模块化可微渲染器设计,其性能优于以前的方法。我们的设计支持现代图形管道中所有关键操作,并在高分辨率下执行用户可编程着色和几何处理。以人脸表演捕捉为例,我们将其定义为一种反渲染问题,并展示了 - 使用 PyTorch3D 加速 3D 深度学习
本文介绍了 PyTorch3D,一个用于 3D 深度学习的模块化、高效且可微分的操作库,包括一个快速、模块化和可微分的渲染器,通过合成分析方法来预测出优秀的 3D 网格和点云,它比其他可微渲染器更加模块化和高效,在大型网格和图像方面也更具优 - 基于图像的三维推理差分渲染器
本文提出了一种新的可微分渲染框架,可以使用可微分函数直接渲染彩色网格,并能够从各种图像表示形式中向网格顶点及其属性反馈高效监督信号,并通过实验,证明提出的渲染器可以在三维无监督单视图重建方面实现显著改善,并能够处理基于图像的形状拟合等具有挑 - Pix2Vex:使用平滑可微分渲染器进行图像到几何重建
本文介绍了 Pix2Vex, 一种利用神经网络将图像转换为 3D 几何形状的方法,通过差异可导渲染器和图像翻译组件使网络能够训练不同类型的图像,其中渲染器平滑连续且无割裂。
- CVPRMeshAdv:面向视觉识别的对抗性网格
本文提出了一种叫做 meshAdv 的方法,用于生成具有丰富形状特征但纹理变化最小的物体的 “对抗性 3D 网格模型”。使用可微渲染器进行对象的形状和纹理的操作,可以有效地攻击分类器和物体探测器,并在不同视角下进行攻击评估,同时设计了一个管 - 超越像素范数球:利用解析可微分渲染器的参数对抗
通过直接扰动计算机视觉中的物理参数,如照明和几何形状参数,我们提出了一种新的参数规范来评估分类器对敌对攻击的鲁棒性,我们还提出了一种可微分渲染器,以便将梯度传播到物理参数空间,并实现了一种记忆高效且可扩展的敌对数据增强方法。
- CVPR3D 可塑模型回归的无监督训练
本文提出了一种基于人脸图像的无监督学习方法,使用面部识别网络特征从像素到 3D 型可变模型坐标的回归网络训练,通过可微分的渲染器进行预测脸部的渲染并计算特征,引入批量分布损失、循环损失和多视图身份损失来实现从特征学习并避免网络欺骗效应,在使 - CVPR从单色图像学习估计三维人体姿态和形状
该论文提出了一种基于卷积神经网络的直接预测方法,将参数化的统计全身形状模型与 2D 关键点和掩膜相结合,实现从单张彩色图像中估计全身的 3D 姿态和形状,得到了比先前基准更好的结果。