用于相机姿态回归和优化的对抗网络

Mar, 2019

用于相机姿态回归和优化的对抗网络

Adversarial Networks for Camera Pose Regression and Refinement

Mai Bui, Christoph Baur, Nassir Navab, Slobodan Ilic, Shadi Albarqouni

TL;DR提出了一种基于神经网络的直接相机位姿回归方法，通过使用鉴别器网络和对抗训练隐式地学习了 RGB 图像和相应相机位姿的联合分布，此方法不仅可以从单个 RGB 图像回归相机位姿，还可以通过使用鉴别器网络提供仅基于 RGB 的相机位姿精修解决方案，同时还可以通过优化预测的相机位姿从而提高定位精度。在公共数据集 7-Scenes 上验证了该方法并取得了比直接相机位姿回归方法更好的结果。

Abstract

Despite recent advances on the topic of direct camera pose regression using neural networks, accurately estimating the camera pose of a single RGB image still remains a challenging task. To address this problem,

direct camera pose regression neural networks rgb images discriminator network adversarial learning

发现论文，激发创造

姿态估计回归的对抗转移

我们提出了一种基于迁移学习和领域自适应技术的深度适应网络，通过自监督学习获取具有场景不变性的图像表示，并将其用于摄像机姿态估计中。在 Cambridge Landmarks 和 7Scene 上的评估表明，该网络优于几个基线，并与最先进的方法进行了比较。

Jun, 2020

深度学习相机姿态估计介绍

本文概述了深度学习在计算机视觉领域中对相机姿态估计的应用，描述了关键方法和趋势，对现有的学习为基础的姿态估计器进行了广泛的交叉比较，并讨论了新出现的解决方案和未来的研究方向。

Jul, 2019

P2I-NET：通过对抗学习将相机姿态映射到图像以实现实时室内环境中的新视图合成

基于给定的室内环境中的新 6DoF 相机位姿，研究基于一组参考 RGBD 视图预测该位姿下的视角的难题，并提出了一种条件生成对抗神经网络（P2I-NET）来直接预测给定位姿下的新视角。

Sep, 2023

通过对抗学习实现自然环境下的三维人体姿态估计

本论文提出了一种对抗性学习框架，利用基于多源鉴别器的几何描述符对在野外场景下的 2D 姿态注释图像进行 3D 人体姿态估计。实验证明，该方法在公共基准测试上明显优于以往的最先进方法。

Mar, 2018

具方向性学习的宽基线相对相机位姿估计

本文提出 DirectionNet 模型，通过预测 5D 相对位姿空间上的离散分布来改进相机位姿回归，实现将相机姿态分解为 3D 方向向量并在球面上估算离散分布。我们从 Matterport3D 和 InteriorNet 构建的具有挑战性的综合和真实姿态估计数据集中评估了我们的模型，结果表明我们的方法比直接回归大大减少了误差。(Translation: This paper proposes DirectionNet model to improve camera pose regression by predicting a discrete distribution over the 5D relative pose space. DirectionNet factorizes relative camera pose to a set of 3D direction vectors and estimates the distribution on the sphere, resulting in a significant error reduction compared to direct regression methods, as evaluated on challenging synthetic and real pose estimation datasets constructed from Matterport3D and InteriorNet.)

Jun, 2021

学习少即是多 - 通过三维表面回归实现六自由度相机定位

本文针对如何从单个 RGB 图像中在给定的 3D 环境中预测 6D 相机姿态这一问题，通过设计并使用一个名为完全卷积神经网络的组件实现了高效、高精度和鲁棒性训练的端到端可训练的管道。令人惊奇的是，网络仅依靠单一视角的约束条件即可自动发现 3D 场景几何，甚至在没有利用场景 3D 模型的情况下，也能比现有技术更优秀。

Nov, 2017

卷积神经网络相对摄像机位姿估计

本文提出了一种基于卷积神经网络的方法来估计两个相机之间的相对姿态，该方法采用来自两个相机的 RGB 图像作为输入，并直接输出相对旋转和平移。与 SURF、ORB 这些广泛使用的局部特征方法相比较，该方法采用端到端的方式训练，利用大规模分类数据集进行迁移学习，结果表明相对基准线有明显的改进。此外，本文还介绍了一种包含空间金字塔池化 (SPP) 层的网络结构变体，并证明进一步提高了性能。

Feb, 2017

构造感知完全卷积神经网络的对抗学习用于地标定位

通过结构感知的全卷积网络以及 GAN 的显式 / 隐式学习策略，该论文提出了一种解决单目图像中姿态估计问题的方法，并在 2D 和 3D 姿态估计以及人脸重要标识等相关任务上显著优于现有方法。

Nov, 2017

使用在合成 RGB-D 上训练的深度网络实现语义姿态

通过深度卷积神经网络实现室内场景理解的任务。为了克服 RGB-D 训练数据不足的问题，采用实时渲染技术生成合成室内场景，并通过迁移学习的方式使得模型能够处理具有高度挑战性的真实场景。该神经网络具备较短的运行时间，可同时估计类别、姿态和位置等参数。

Aug, 2015

视觉定位的分层场景坐标分类和回归

本研究提出了一种新的基于层次场景坐标网络的方法，用于从单个 RGB 图像中逐步预测像素场景坐标，并在单幅图像中取得了新的最佳单色彩 RGB 定位性能，同时也减小了性能差距。

Sep, 2019