CVPRMay, 2024

LLMGeo: 大规模语言模型在野外图像地理定位中的基准测试

PDF
TL;DR利用多模态语言模型，我们系统评估其图片地理定位能力，并通过新的图像数据集和全面的评估框架进行训练及非训练的评估。结果表明，闭源模型展示出更好的地理定位能力，而开源模型通过微调可达到相当的性能。
image geolocationmultimodal language modelschallenging imagesevaluation frameworkclosed-source models
发现论文，激发创造
  • GeoLLM：从大型语言模型中提取地理空间知识

    在这篇论文中，我们探讨了机器学习在地理空间预测任务中的应用，提出了一种名为 GeoLLM 的新方法，利用大型语言模型中的地理空间信息和开放街道地图的辅助数据，有效地提取地理空间知识，用于测量人口密度等中心问题，相较于最近邻和直接使用提示信息的基准方法，在多个任务上展现了 70% 的性能提升，并且与卫星数据的基准结果相当甚至超出，证明了大型语言模型在地理空间任务上的可行性和潜力。

    Oct, 2023

  • 开拓新领域：探索多模态 LLMs 的地理和地理空间能力

    通过进行一系列实验，我们研究了多模态大型语言模型在地理和地理空间领域的知识和能力，重点关注前沿模型 GPT-4V 的视觉能力，并与开源模型进行性能比较。我们的方法涉及使用一套地理任务的小规模基准测试这些模型，测试它们在不同难度任务上的能力。分析结果揭示了这些模型的优点，包括超过人类的性能，并揭示了它们的不足之处，提供了它们在地理领域能力的全面视角。为了促进未来模型的比较和评估，我们将公开发布我们的基准测试。

    Nov, 2023

  • 大型语言模型具备地理空间知识吗？

    该研究通过探测具备预训练能力的大型语言模型对地理数据的理解程度和与此相关的促进地理空间决策的能力，通过三个实验验证结论，表明合成地理空间知识需要更大规模和更复杂的语言模型，并且对于处理地理空间信息，大型语言模型的潜力和局限性值得研究。

    Oct, 2023

  • 大型语言模型存在地理偏见

    通过地理学角度研究大型语言模型的地理知识，展示其在地理空间预测中存在的问题性地理偏差，并 quantifies 目前大型语言模型的偏差程度。

    Feb, 2024

  • GPT4GEO：语言模型如何看待世界地理

    本篇研究探究 GPT-4 模型应用于地理数据场景问题的解决能力，试图了解其是否具备对地理位置、距离、海拔，以及更复杂的问题如国家轮廓、旅游网络、路线规划和供应链分析的理解和解决能力。结果表明该模型在一定程度上具备对世界的认识，但仍存在限制。

    May, 2023

  • GeoLM：地理空间语言理解模型的增强

    GeoLM 是一个地理信息语言模型，通过连接文本语料库中的语言信息和来自地理数据库的地理信息，利用对比学习和遮蔽语言建模的方法，结合空间坐标嵌入机制来捕捉地理空间上下文，从而提升自然语言中的地理实体的理解能力。实验证明 GeoLM 在地名识别、地名链接、关系提取和地理实体类型等方面具有良好的能力，弥合了自然语言处理和地理空间科学之间的差距。

    Oct, 2023

  • Img2Loc: 通过多模态基础模型和基于图像检索增强的生成，重新审视图像地理定位

    Img2Loc 是一个采用 GPT4V 或 LLaVA 等大型多模态模型进行检索增强生成的创新系统，通过重新定义图像地理定位作为文本生成任务，它不仅在 Im2GPS3k 和 YFCC4k 等基准数据集上超过了先前最先进的模型的性能，而且在没有任何模型训练的情况下做到了这一点。

    Mar, 2024

  • 基于指南录定位的 G^3 技术

    该篇论文研究了如何通过使用人类编写的指南书中的知识来改善地理定位任务，并提出了一种通过使用 StreetView 图像数据集和 GeoGuessr 的文本指南进行地理定位的方法，该方法可以通过从指南书中自动提取的线索来预测每张图像的国家，并使用伪标签来监督地学习，明显优于现有的只使用图像的地理定位方法。

    Nov, 2022

  • 远程传感平台中的工具增强智能代理评估

    通过对 1000 个任务的全面评估，我们提供了关于更强大的遥感应用代理的见解，以填补存在的真实场景下大型语言模型的差距。

    Apr, 2024

  • 自然语言模型中地理表现的缩放规律

    扩展大型语言模型 (LLM) 到研究结果，观察语言模型在扩展时地理知识是如何演变的，并显示较大的语言模型不能消除训练数据中固有的地理偏见。

    Feb, 2024