Oct, 2019

几何感知神经渲染

PDF
TL;DR本文介绍了一种通过 Epipolar Cross Attention 实现的神经渲染方法，可以学习复杂的高维场景的隐式三维模型，提出了三个新的仿真数据集，以展示该方法优于常规方法的定量和定性表现。
发现论文，激发创造
  • 面向活动视觉识别的几何感知循环神经网络

    该研究介绍了使用递归的几何感知神经网络，将一个场景的多个视图中的视觉信息整合到 3D 潜在特征张量中，并直接使用构建的 3D 特征存储器进行物体检测、物体分割和 3D 重建。

    Nov, 2018

  • GTA：一种面向几何的多视角 Transformer 的注意机制

    通过提出一种几何感知注意机制 (Geometric Transform Attention, GTA) 来对几何结构进行编码，改进了基于 Transformer 的多视角合成模型的学习效率和性能，无需额外学习参数且计算开销较小。

    Oct, 2023

  • 使用几何感知循环网络学习空间常识

    这篇论文提出了一种通过结合几何学和深度视觉表示学习的思想，将其嵌入移动视觉场景理解的递归网络架构中，以学习如何将 2D 视觉特征整合到场景的潜在 3D 特征映射中，通过不同 iable 几何操作进行预测和分割，十分成功。

    Dec, 2018

  • 面向几何感知的重建与融合优化渲染的可泛化神经辐射场

    Generalizable NeRF 通过建立基于方差的代价体来重建几何结构并通过编码解码来生成新的视图，引入自适应代价聚合、空间 - 视图聚合和一致性感知融合等方法来改进现有方法在复杂条件下的性能。

    Apr, 2024

  • 等变神经渲染

    该论文提出了一种从图像中直接学习神经场景表示的框架，通过引入一种强制要求该场景表示对于 3D 变换等变的损失函数，使得我们可以实时推断和渲染场景，并在标准 ShapeNet 基准测试上获得了很好的结果。

    Jun, 2020

  • 基于单目神经网络的连续视角控制图像渲染

    本文提出了一个自监督学习的方法，通过深度引导的调整过程，利用变换自编码器的网络结构，在只有 2D 图像和相关视角变换的情况下精确合成高质量的 3D 对象或场景的新视角，并实现了细粒度和精密的六自由度视角控制。通过在合成和真实场景以及精细和固定视角设置下的彻底评估，证明了该方法的广泛适用性。

    Jan, 2019

  • 你所看到的就是你 GAN: 用于高保真 3D GAN 中几何渲染的每个像素

    本研究提出了一种扩展神经体素渲染至高分辨率 2D 图像的技术，使得生成对抗网络（GAN）能够以前所未有的细节分辨率合成高分辨率的三维几何物体，并且在维持图像质量的同时保持严格的视角一致性，从而树立了无监督学习 3D GAN 中的三维形状的新标准。

    Jan, 2024

  • 使用隐式映射的视觉三维定位学习模型

    基于学习的方法，使用生成式查询网络（GQNs）与新颖的注意力机制，无需建立显式的点云或体素地图，实现对 Minecraft 中的 3D 场景进行视觉定位任务。

    Jul, 2018

  • 单视角非刚性形状预测的几何感知网络

    提出了一种基于几何感知的深度学习方法，能够在没有预先注册表面模板的情况下，通过单一视角的输入图像，精确预测可变形表面的 3D 形状， 并采用合成数据集和真实基准数据集的实验证明其在 3D 形状预测上超越同类算法，且计算时间明显减少。

    Sep, 2018

  • EGA-Depth: 自监督多摄像头深度估计的高效引导注意力

    本研究提出了一种新颖的自我学习多摄像机深度估计引导 - 注意力结构 EGA-Depth，可在自动驾驶中取得更好的效果，实现高效和准确的深度估计。

    Apr, 2023