Nov, 2023

从非姿态图像中学习鲁棒的多尺度神经辐射场表示

PDF
TL;DR提出了一种改进的神经图像渲染问题的解决方案，通过从不同分辨率的图像中恢复准确的相机参数并利用多尺度神经场网络进行绝对相机姿态估计，该方法实现了从不同视角合成逼真的场景图像。
neural image-based renderingcamera parametersneural novel view synthesisscene rigiditymulti-scale neural scene representation
发现论文，激发创造
  • 大规模场景中单目相机的深度、位姿和隐式场景表示的增量联合学习

    我们提出了一种增量联合学习框架，通过采用基于视觉变换器的网络作为主干来实现准确的深度、姿态估计和大规模场景重建，并构建了增量场景表示方法以增强三维场景表示的可伸缩性。

    Apr, 2024

  • 多层级神经场景图用于动态城市环境

    我们提出了一种适用于动态城市环境的新颖分解辐射场方法，通过多级神经场景图表示来估计大规模动态区域的辐射场，并采用快速复合光线采样和渲染技术进行有效的训练和渲染，通过新的视图合成基准测试，我们证明了该方法在更多方面的性能优于先前的方法。

    Mar, 2024

  • 场景理解的分解神经表示

    本研究提出了一种基于神经网络的场景表示方法，可以直接从 RGB-D 视频中学习物体级别的神经表示，并具有显式的对象运动编码和 / 或变形编码，该方法评估后表明具有高效性，可解释性和可编辑性。

    Apr, 2023

  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • FlowCam：通过像素对齐场景流训练通用的无相机位姿 3D 辐射场

    提出了一种联合重构相机位姿和三维神经场表示的在线方法，通过可微分渲染将帧间光流提升到三维场流，通过加权最小二乘拟合场流场估计 SE（3) 相机姿态，同时可以通过重新渲染输入视频对相机姿态估计和通用神经场表示进行监督，从而在真实世界视频数据集上进行端对端和完全自我监督的训练。

    May, 2023

  • 神经辐射场方法用于深度多视角光度立体重建

    我们提出了现代的解决方法，以解决多视角光度立体问题（MVPS），利用图像形成模型和深度学习方法恢复了密集的三维重建图像。

    Oct, 2021

  • 单图像神经场实现机器人物体操作

    通过利用神经辐射场（NeRF）的一个紧凑的单一图像表示，我们能够从单一图像中推断物体渲染，三维重建和抓握姿势预测，从而比先前方案小两个到三个数量级，而实现可比的视图重建和抓握性能。

    Oct, 2022

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • 通用神经演算法：学习用于人类新视角合成的鲁棒辐射场

    使用深度学习技术，提出了一种名为 GNR 的通用神经演员框架，通过压缩轻场数据来从几何和外观方面生成新颖的视角下的人体影像，并在多视角摄像机下构建的数据集 GeneBody-1.0 上证明了其鲁棒性和通用性。

    Apr, 2022

  • 无阴影神经光辐射场中的相机重新定位

    本文提出了一种基于神经辐射场（NeRF）的两阶段流程，通过标准化具有不同光照和阴影条件的图像来改善相机重定位，并在基于哈希编码的 NeRF 上实现场景表示，进一步利用重新设计的截断动态低通滤波器（TDLF）和数值梯度平均技术来解决网格化 NeRF 中的噪声图像梯度计算问题，实验证明我们的方法在不同光照条件下的相机重定位取得了最先进的结果。

    May, 2024