CVPRMar, 2022

TransGeo: 跨视图图像地理定位的完整解决方案 ——Transformer Is All You Need

PDF
TL;DR本研究提出了一种基于纯 Transformer 的方法（TransGeo）来针对交叉视图图像地理定位中的局限性，通过全局信息建模和显式位置信息编码等优势，结合了注意力引导的非均匀裁剪方法以实现性能优化，结果表明该方法在城市和乡村数据集上取得了最优结果，并显著降低了计算成本。
cross-view image geo-localizationpure transformer-based approachattention-guided non-uniform cropping methodperformance improvementstate-of-the-art results
发现论文，激发创造
  • 世界上这张图片是在哪里？基于 Transformer 的野外地理定位

    本文提出了 TransLocator，这是一种基于双分支 Transformer 网络的方法，使用单一 RGB 图像和其语义分割图像进行地理定位和场景识别的多任务学习，其在四个基准数据集上均获得了比现有方法高的准确度。

    Apr, 2022

  • ConGeo: 针对地面视角变化的稳健交叉视图地理定位

    提出了 ConGeo 方法，通过增强特征表示的鲁棒性和一致性，提高模型对方向和视场变化的不变性和韧性，从而显著提升了交叉视图地理定位的性能，并超过了针对每个地面视图变化训练单独模型的竞争方法。

    Mar, 2024

  • 基于几何引导的跨视角 Transformer 提高 3 自由度地对卫星相机定位精度

    本篇论文提出了一种增加地面摄像头位置和方向准确度的方法，通过估计地平线图像和卫星图像之间的相对旋转和平移，设计一种几何引导的交叉视图转换器，构建一个强大的神经姿态优化器来估计它们之间的相对旋转，通过空间相关性生成车辆位置的概率图，并明显优于现有技术。

    Jul, 2023

  • TransPose: 基于 Transformer 的关键点定位

    本文介绍了一种名为 TransPose 的模型，它是用 Transformer 来进行人体姿态估计的，能够有效地捕捉长距离的关系以及细粒度的图像依赖关系，并通过产生热力图来进行关键点的定位。基于此，模型可以实现更快速的处理速度和更轻量化的模型结构。

    Dec, 2020

  • 交叉视图 Transformer 用于实时地图视角语义分割

    本文提出了一种名为 Cross-View Transformers 的注意力机制模型，能够在不需要显式几何建模的情况下，从多个相机的视角中学习到语义分割的图像表示，并进行了实时性能验证。

    May, 2022

  • 跨视角地理定位：综述

    本文针对跨视域地理定位领域的前沿方法、技术和挑战进行了综述，着重介绍了基于特征和深度学习策略。研究涵盖了建立不同视点之间对应关系的基于特征的方法，以及采用卷积神经网络嵌入视图不变属性的深度学习方法。对跨视域地理定位遇到的各种挑战进行了探讨，如视点和照明的变化、遮挡的发生，并提出了相应的创新解决方案。此外，本文介绍了基准数据集和评估指标，并对最先进技术进行了比较分析。最后，对未来研究以及跨视域地理定位在全球复杂网络环境中蓬勃发展的应用进行了讨论。

    Jun, 2024

  • TransPose：基于几何感知的 Transformer 的 6D 物体姿态估计

    TransPose 是一个利用 Transformer 编码器和几何感知模块的 6D 姿态框架，用于提取和利用深度信息中的几何特征，以实现更准确的预测。通过统一采样点云，并借助设计的局部特征提取器和图卷积网络提取局部几何特征；采用 Transformer 进行全局信息交换，使每个局部特征包含全局信息；最后，在 Transformer 编码器中引入几何感知模块，为点云特征学习提供有效约束，并使全局信息交换与点云任务更加紧密结合。实验结果表明，通过 TransPose 的 6D 姿态估计管道在三个基准数据集上取得了有竞争力的结果。

    Oct, 2023

  • 探索和提取跨模态信息以用于图像字幕生成

    本研究提出基于 Transformer 的全局与局部信息探索与提炼方法，在跨模态视角下探究图像字幕生成，并在 COCO 测试集上取得了 129.3 的 CIDEr 分数。

    Feb, 2020

  • 一种基于 Transformer 的无人机视角地理定位特征分割和区域对齐方法

    本文提出了一种名为特征分割与区域对齐 (FSRA) 的简单有效的转换器结构，用于加强模型理解上下文信息以及实例分布的能力，从而为解决无人机和卫星等不同视角下的地理图像匹配问题提供了一个新的解决方案，经过实验证明，该方法的性能卓越且达到了迄今为止在无人机目标定位和导航中的最佳表现。

    Jan, 2022

  • GeoDTR+: 通过几何解缠实现通用跨视角地理定位

    GeoDTR + 通过增强的 Geometric Layout Extractor 模块以及 Contrastive Hard Samples Generation 实现了在 CVUSA、CVACT 和 VIGOR 等数据集上相对较高的交叉区域准确率，并保持了与现有方法相当的同一区域准确率。

    Aug, 2023