RelPose:预测野外单个物体的概率性相对旋转
本文提出一种基于关系旋转和注意力转换层的方法来实现从稀疏视图图像集(2-8 张)中估计 6D 相机姿态的任务,并得到了在已知及未知类别的物体上都有很大改进的成果,并能够用于野外物体的姿态估计和 3D 重建。
May, 2023
SRPose 是一个基于稀疏关键点的框架,用于在相机到世界和物体到相机场景中进行双视图相对姿态估计,通过使用稀疏关键点探测器、内部校准位置编码器和可提示的先验知识引导的注意力层,SRPose 能够在不同图像大小和相机内参的情况下获得竞争性或卓越的性能,及低计算资源的部署。
Jul, 2024
该论文提出了一种称为 CosyPose 的方法,能够从一组待定相机视图的场景中,准确地恢复多个已知对象的 6D 姿态,并且能够处理对象的对称性,不需要深度测量,还能自动还原场景中的物体数量,并解决了通过解决对象级捆绑调整问题实现对全局场景的细化。
Aug, 2020
通过单个参考视图与查询图像之间的相对物体姿态估计,我们提出了一种基于假设和验证框架的新方法,并引入了一种 3D 感知验证,以衡量可靠性,证明了我们方法在相对姿态估计和处理未见过的物体时的鲁棒性。
Oct, 2023
我们提出了一种无姿势大重建模型(PF-LRM),可以从少数非姿势图像中重建三维物体,即使视觉重叠很少,同时在单个 A100 GPU 上估计相对相机姿势,仅需约 1.3 秒。PF-LRM 是一种高度可扩展的方法,利用自注意力块在三维物体标记和二维图像标记之间交换信息;我们为每个视图预测粗略的点云,然后使用可微的透视 - n - 点(PnP)求解器获得相机姿势。当在约 1M 个多视图姿势数据上进行训练时,PF-LRM 表现出强大的跨数据集泛化能力,并在各种未见评估数据集上以姿势预测准确性和三维重建质量大幅超越基线方法。我们还展示了模型在下游文本 / 图像到三维任务中的适用性,并具有快速的前馈推理。项目网站位于: this https URL。
Nov, 2023
该文研究了自动驾驶在高度动态和可能杂乱的环境下的相对姿态问题,提出了一种使用多摄像头系统的新算法,利用特定的先验知识开发了一种高效的 4 点算法,并与 RANSAC 结合使用,在合成数据和实际应用中表现良好。
May, 2016
相机位姿估计的方法可以通过找到对应关系和解决基础矩阵的方式在大多数情况下提供高精度,而使用神经网络直接预测姿态的方法对于有限重叠的情况更加鲁棒,并能够推断出绝对平移尺度,但精度较低。我们展示了如何结合这两种方法的优点;我们的方法能够同时提供精确和稳健的结果,并准确推断出平移尺度。我们模型的核心是一个 Transformer,它通过学习平衡已解决和学习的姿态估计,并提供一个先验信息来指导求解器。全面的分析支持了我们的设计选择,并证明了我们的方法能够灵活适应各种特征提取器和对应估计器,在 Matterport3D、InteriorNet、StreetLearn 和 Map-free Relocalization 上展现了最先进的 6 自由度姿态估计性能。
Mar, 2024
提出了一种改进的神经图像渲染问题的解决方案,通过从不同分辨率的图像中恢复准确的相机参数并利用多尺度神经场网络进行绝对相机姿态估计,该方法实现了从不同视角合成逼真的场景图像。
Nov, 2023
本文提出了一种自我监督的方法,利用未标注的多视角数据学习单图像三维姿态估计器,通过多视角一致性约束将观察到的二维姿态分离成基础的三维姿态和相机旋转,并且提出了新的、无偏的重建目标函数,跨视角和训练样本混合信息。该方法在两个基准数据集(Human3.6M 和 MPII-INF-3DHP)和野外 SkiPose 数据集上进行了评估。
Nov, 2020
本文提出了一种基于卷积神经网络的方法来估计两个相机之间的相对姿态,该方法采用来自两个相机的 RGB 图像作为输入,并直接输出相对旋转和平移。与 SURF、ORB 这些广泛使用的局部特征方法相比较,该方法采用端到端的方式训练,利用大规模分类数据集进行迁移学习,结果表明相对基准线有明显的改进。此外,本文还介绍了一种包含空间金字塔池化 (SPP) 层的网络结构变体,并证明进一步提高了性能。
Feb, 2017