May, 2023

HSCNet++：基于 Transformer 的分层场景坐标分类和回归用于视觉定位

PDF
TL;DR本文提出了一种新的 Hierarchical Scene Coordinate 网络，可以在一个像素级的场景坐标的预测中，以逐层递进地方式执行粗到细的预测，这种新方法在单图像定位方面表现出较好的性能，并在 7-Scenes，12 Scenes，Cambridge Landmarks 数据集和室内场景数据集上创下了新的最佳表现。
visual localizationrgb localizationdeep neural networkshierarchical scene coordinate networksingle-image localization
发现论文，激发创造
  • 视觉定位的分层场景坐标分类和回归

    本研究提出了一种新的基于层次场景坐标网络的方法，用于从单个 RGB 图像中逐步预测像素场景坐标，并在单幅图像中取得了新的最佳单色彩 RGB 定位性能，同时也减小了性能差距。

    Sep, 2019

  • 基于图像的定位的场景坐标和对应关系学习

    本篇论文提出了一种使用深度学习，通过像素级的场景坐标回归来进行相机姿态估计的方法，并通过回归的置信度值对相应的姿态进行自我校正和提高精度。

    May, 2018

  • SACReg: 场景无关的坐标回归视觉定位

    在这篇论文中，我们提出了一种新的范式，即训练一个单一的通用场景坐标回归模型，然后将其部署到新的测试场景中，无论其规模如何，也无需进一步微调。该模型基于转换器架构，可以接受可变数量的图像和稀疏的 2D-3D 注释作为输入，并在一些多样的数据集上进行训练，显著优于其他场景回归方法，包括针对视觉定位的特定场景模型，并在剑桥定位基准测试中创造了新的最佳表现，甚至超过基于特征匹配的方法。

    Jul, 2023

  • 将其上线：将场景坐标回归网络预测应用于在线 RGB-D 相机重定位

    本研究提出了一种新的方法来利用在一个场景中训练的神经网络来预测另一个场景中的点，以实现相机在线定位，并在 7-Scenes 和 Cambridge Landmarks 数据集上实现了最先进的性能，运行时间低于 300 毫秒。

    Jun, 2019

  • 基于图像的定位的全幅场景坐标回归

    采用全帧方式进行场景坐标回归可以在测试时间内提高计算效率并增加回归过程的全局上下文以提高稳健性，而数据增强则有助于减轻过度拟合问题，从而提高基于图像识别的定位场景坐标预测的鲁棒性。

    Feb, 2018

  • 学习少即是多 - 通过三维表面回归实现六自由度相机定位

    本文针对如何从单个 RGB 图像中在给定的 3D 环境中预测 6D 相机姿态这一问题，通过设计并使用一个名为完全卷积神经网络的组件实现了高效、高精度和鲁棒性训练的端到端可训练的管道。令人惊奇的是，网络仅依靠单一视角的约束条件即可自动发现 3D 场景几何，甚至在没有利用场景 3D 模型的情况下，也能比现有技术更优秀。

    Nov, 2017

  • D2S：相机重定位中的本地描述符和全局场景坐标表示

    本研究提出了一种基于学习的直接定位方法，使用简单的网络 D2S 来表示本地描述符和场景坐标，通过选择性关注鲁棒描述符并忽略云、树木和其他动态物体的方法，完成了稀疏描述符的二元 - 语义分类，在室内和室外环境中超越了现有的基于 CNN 的方法。

    Jul, 2023

  • 加速坐标编码：使用 RGB 和姿态学习在几分钟内重新定位

    本文介绍了一种学习基础的视觉重定位系统，利用无场景特异性特征骨干和场景特异性预测模型，结合多点并行迭代训练来提高定位精度，并使用反投影损失替代复杂的末端到末端训练过程，从而提高训练速度，而且优于最先进的场景坐标回归方法。

    May, 2023

  • 通过层次特征对齐预训练和区域感知微调的通用标签高效三维场景解析

    通过使用预先训练的视觉 - 语言模型和无监督的区域级语义对比学习方案，本研究提出了一种通用且简单的框架，用于处理有限标记情况下的 3D 场景理解，从而在数据效率学习和开放世界少样本学习方面展现了有效性。

    Dec, 2023

  • 基于全局唯一实例坐标回归的大规模联合语义重定位与场景理解

    本研究提出了一种新颖的联合语义本地化和场景理解方法，通过训练卷积神经网络，通过物体实例的自我表征和 6-DoF 相机姿态预测来实现 3D 场景坐标估计，并且相比直接姿态回归或基于场景坐标的姿态估计算法更加准确。

    Sep, 2019