计算机游戏的神经风格迁移
现有的立体视觉管道在使用多对或多个卫星图像时可以产生高精度的 3D 重建。然而,这些管道对于由于多日期收购而可能发生的图像变化敏感。为了考虑这些变化,最近将神经辐射场(NeRF)应用于多日期卫星图像。然而,神经方法非常计算密集,需要数十个小时进行学习,而标准立体视觉管道只需几分钟。根据即时神经图形基元的思路,我们提出使用高效的采样策略和多分辨率哈希编码来加速学习。我们的模型,卫星神经图形基元(SAT-NGP),将学习时间缩短到 15 分钟,同时保持了 3D 重建的质量。
Mar, 2024
该论文通过实验验证了从现代视频游戏中提取的合成 RGB 图像可以用于改进深度神经网络在图像分割和深度估计方面的性能,同时还说明了合成数据可通过简单的领域自适应技术提供类似或更好的结果,这表明与游戏开发者合作收集数据是未来计算机视觉的一个潜在方向。
Aug, 2016
自动地将真实场景视频转换成逼真并且可交互的游戏环境的新方法 Video2Game,使用神经辐射场模块捕捉场景的几何与视觉外观,使用网格模块加速渲染,以及使用物理模块模拟对象之间的相互作用和物理动力学。
Apr, 2024
本文介绍了一种使用神经放射场的全可微合成数据管道,可在不需要人力劳动的情况下按需生成数据,从而使得目标任务的准确性最大化。作者在合成和实际的物体检测任务中展示了方法的有效性,并引入了一个可用于真实场景中具有不同姿势的物体检测的新数据集和基准测试 (YCB-in-the-Wild)。
Jul, 2022
使用 Neural Radiance Field 方法和物理仿真器在野外环境下通过视觉感知实现机器人的球推导航技能。
Oct, 2022
提出了一种新的 3D 视频合成方法,使用神经辐射场表示动态实景,并使用一种紧凑的表现方式,能够高质量地合成视图和插值运动,其动态场景建模方法在视角合成和动态场景表示方面都表现良好。
Mar, 2021
本研究通过对旅游地标的网络照片进行传统 3D 重建,将场景逼近为一个点云,并在每张照片上进行重新渲染。使用神经网络学习初始渲染到实际照片的映射,还考虑到短暂物体的位置以进行场景修正。通过多个公共数据集的评估,展示了场景外观和语义标签的真实操作。与之前的场景重建工作进行了比较。
Apr, 2019
本研究提出了一种基于点的方法,使用可学习的神经描述符来编码局部几何和外观信息,并学习深度渲染网络生成具有照片般逼真感觉的场景视图,同时避免显式表面估计和网格化,并适用于各种复杂场景,包括使用 RGB-D 传感器与标准 RGB 相机进行扫描的场景。
Jun, 2019
通过采用一种基于网格的更密集的点描述符光栅化方法,以及前景 / 背景场景渲染分离和改进的损失函数,我们在单个场景上进行训练而不是在 ScanNet 上进行训练并进行场景微调的 NPBG 的情况下实现了数据高效学习和快速视图合成,并且表现优于 NPBG 和与 SVS 竞争,尽管 SVS 具有更深的神经渲染基准。
Aug, 2022
该论文主要研究使用神经辐射场(NeRF)方法对合成和真实场景进行 3D 重建,包括利用多分辨率哈希编码等技术在静态和动态场景重建方面的研究。其中,还着重探讨了神经辐射场(D-NeRF)对动态场景重建的应用,并成功将其推广至真实世界动态场景。
Oct, 2022