Dec, 2019

3D 物体合成的自动场景推断

PDF
TL;DR本文提出了一种基于深度学习的图像编辑系统，支持拖放插入物体、后期光照和景深编辑。通过一种全自动的技术实现从单张低动态范围照片恢复包括几何、光照、漫反射和相机参数在内的全面的三维场景模型。研究结果表明，这个系统可以产生令人信服的结果，达到需要大量用户交互的技术相同的真实感水平。
image editingdeep learningillumination inferencedepth estimationrealism
发现论文，激发创造
  • 基于物理的单图像室内场景光照编辑

    本文提出了一种使用神经渲染框架的方法，通过利用预测的深度数据和光源分割掩模，从单个图像中编辑复杂室内照明，解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题，其特点在于综合使用场景重建和参数化 3D 照明的方法。

    May, 2022

  • 考虑对象与环境交互的神经隐式场编辑

    基于神经隐式场的 3D 场景编辑方法在 3D 编辑任务中取得了出色的结果，然而现有方法常常混合了对象和场景环境之间的交互，本文提出了一种考虑对象和场景环境交互的新型双流神经渲染系统（OSI-aware），通过内在分解方法成功分离了对象和场景环境之间的交互，以研究对象级编辑任务对场景外观的对应变化，我们引入了深度图引导的场景修补方法和通过点匹配策略的阴影渲染方法，大量实验证明我们的新方法在场景编辑任务中产生了合理的外观变化，同时在新视图合成任务中获得了具有竞争力的渲染质量。

    Nov, 2023

  • 人作为场景探测器

    通过分析场景中的人和其他物体的运动，我们演示了如何从单个摄像机视点拍摄的视频中推断深度、遮挡、照明和阴影信息，并使用这些信息将新物体复合到相同的场景中，具有高度自动化和逼真性。

    Jul, 2020

  • 场景条件下的三维物体风格化与组合

    通过结合建模和优化对象的纹理和环境光照，本论文提出了一个框架，使得现有的 3D 资源能够适应给定的 2D 场景，同时生成一种真实感的组合效果，使得假定的对象能够放入该环境中。

    Dec, 2023

  • 将合成对象渲染到传统的照片中

    提出一种能实现将合成物体逼真地插入到已有照片中的方法，仅需一幅图像和少量注释即可创建适用于逼真渲染合成物体的场景物理模型，经过用户研究证明合成图像与真实场景难以区分，并且对比其他插入方法都需要更少的场景信息和较高的逼真度，适用于影视和游戏行业，家庭装修和用户内容创建等领域。

    Dec, 2019

  • 可编辑场景渲染的学习目标组合神经辐射场

    本研究提出了一种新型的神经场景渲染系统，在聚集和现实世界场景中学习对象组合的神经辐射场，具有编辑能力和高效处理能力，并通过新颖的双通道体系结构设计，得以在场景几何和外观以及独立于对象的可学习激活代码条件下训练各个独立目标。通过实验证明，该系统不仅在静态场景新视点综合方面具备优异性能，而且在对象级别编辑方面也能产生逼真的渲染效果。

    Sep, 2021

  • 通过视角合成实现分层结构化三维场景推断

    该研究提出了一种从单个输入图像中推断出场景的分层结构 3D 表示的方法，使用视图合成作为代理任务来弥补直接监督缺失的不足，并展示了其在两种不同场景下的定性和定量验证结果。

    Jul, 2018

  • AutoRecon：三维物体自动发现与重建

    本文介绍了一种名为 AutoRecon 的新型框架，该框架利用自我监督的 2D 视觉转换器功能，通过多视图图像自动发现和重建对象，并使用分解的神经场景表示进行密集监督，从而实现了准确的对象重建和分割。

    May, 2023

  • 基于学习的 ICP 场景重构

    使用深度传感器在房间中捕获对象的 3D 模型，采用基于深度强化学习的学习式 ICP 方法对 CAD 模型进行对齐，优于先前文献中的 ICP 方法，能够在实际场景中实现高质量结果的对象对齐。

    Dec, 2018

  • 上下文感知分层深度修复的三维摄影

    提出一种将单个 RGB-D 输入图像转换成 3D 照片的方法，其中包含了多层的新视角综合结构，可以补全原始视角中被遮挡区域的缺失的颜色和深度信息，并经验证在各种现实场景中比现有技术实现更少的图像伪影。

    Apr, 2020