学习城市分解和重照
本文旨在从互联网照片中重建一个可呈现照片逼真效果、拥有独立控制视角、照明和时间的三维模型。我们使用一种新的场景表示,并提出了一种新的时态步函数编码方法,可以将离散场景级内容变化建模为时间上的分段常函数,从而实现了对视角、时间和照明的独立控制。
Jun, 2023
我们提出了一种无监督的变分模型,用于将视频转换为独立因素,每个因素的未来可以从其过去预测,而无需考虑其他因素。我们展示了我们的方法常常学习到可解释为场景中对象的因素。
Jan, 2019
本文尝试用图像序列的方法学习单视角内在图像分解,并利用多图像信息进行训练,未使用任何基准数据集。我们提出了一个基于此想法的新的学习框架,并介绍了新的 loss 函数,该方法在多个数据集上具有良好的泛化性能。
Apr, 2018
本文提出了一种基于多视角真实图像训练的无监督方法,将物体外观分解为高光、阴影和漫反射层,使用局部颜色分布的图像表示进行训练,在高亮度分离和内在图像分解两种任务上取得了最新的成果。
Nov, 2019
本文介绍了一种基于卷积神经网络的方法来从低动态范围(LDR)图像中估算高动态范围(HDR)全景图的户外照明,通过训练网络并提取大量的输入图像与输出照明参数对,本文的方法允许恢复真实感照明条件并能从单一图像中实现逼真的虚拟物体插入。
Nov, 2016
本文提出一种无监督学习方法,通过观察未标记的多视角视频,学习将一个包含多种物体的复杂场景的单幅图像观察映射到一个三维神经场景表示,可以将该表示分解为可移动和不可移动的部分,并通过神经渲染进行自监督训练,从而实现基于对象的三维表示、新视角合成、实例分割和三维边界框预测等多种下游任务,并通过对象操作(如删除、插入和刚体运动)实现场景编辑。
Jul, 2022
我们的研究引入了一种将重照和内在分解相结合的方法,通过利用场景中的光变化生成伪标签,为内在分解提供指导,同时确保对不同场景类型的稳健性,并减少对预训练模型或手工先验的依赖。我们在合成和真实世界数据集上验证了我们的方法,并取得了令人信服的结果。此外,我们的方法在图像编辑任务中的适用性显示出了有希望的结果。
Jun, 2024
本研究提出了一种基于神经网络的场景表示方法,可以直接从 RGB-D 视频中学习物体级别的神经表示,并具有显式的对象运动编码和 / 或变形编码,该方法评估后表明具有高效性,可解释性和可编辑性。
Apr, 2023