预训练语言模型的地理适应性

Mar, 2022

Geographic Adaptation of Pretrained Language Models

Valentin Hofmann, Goran Glavaš, Nikola Ljubešić, Janet B. Pierrehumbert, Hinrich Schütze

TL;DR本文提出了一种基于任务的地理适应预训练语言模型的方法，将语言建模和地理预测相结合，并在多任务学习设置下学习语言现象和地理位置之间的关联，经实验证明，地理适应能显著改善预训练语言模型在地理信息相关任务上的表现。

Abstract

Geographic features are commonly used to improve the performance of pretrained language models (PLMs) on NLP tasks where they are intuitively beneficial (e.g., geolocation prediction, dialect feature prediction).

pretrained language models geographic information geoadaptation multi-task learning geolocation prediction

发现论文，激发创造

语言模型的地理和地缘政治偏差

本文提出了一种地理表示探究框架，通过自我条件方法和实体 - 国家映射研究了 PLMs 中存在的地理偏见和知识，发现尽管 PLMs 的表示与物理世界的各个国家的关联性惊人地契合，但这种知识在不同语言中分享程度却有所不同，同时说明了大型 PLMs 虽然表现出了地理接近度的概念，但在推断时会过度放大地缘政治偏好。

Dec, 2022

大型语言模型具备地理空间知识吗？

该研究通过探测具备预训练能力的大型语言模型对地理数据的理解程度和与此相关的促进地理空间决策的能力，通过三个实验验证结论，表明合成地理空间知识需要更大规模和更复杂的语言模型，并且对于处理地理空间信息，大型语言模型的潜力和局限性值得研究。

Oct, 2023

GPT4GEO：语言模型如何看待世界地理

本篇研究探究 GPT-4 模型应用于地理数据场景问题的解决能力，试图了解其是否具备对地理位置、距离、海拔，以及更复杂的问题如国家轮廓、旅游网络、路线规划和供应链分析的理解和解决能力。结果表明该模型在一定程度上具备对世界的认识，但仍存在限制。

May, 2023

多模式地理预训练方法

该研究提出了一种新颖的多模态地理语言模型 (MGeo) 用于查询 - POI 匹配，通过将地理信息视作一个新的模态，在提取多模态相关性的同时准确表示查询中的多个地理对象，提升了通用 PTMs 的查询 - POI 匹配能力。

Jan, 2023

GeoLLM：从大型语言模型中提取地理空间知识

在这篇论文中，我们探讨了机器学习在地理空间预测任务中的应用，提出了一种名为 GeoLLM 的新方法，利用大型语言模型中的地理空间信息和开放街道地图的辅助数据，有效地提取地理空间知识，用于测量人口密度等中心问题，相较于最近邻和直接使用提示信息的基准方法，在多个任务上展现了 70% 的性能提升，并且与卫星数据的基准结果相当甚至超出，证明了大型语言模型在地理空间任务上的可行性和潜力。

Oct, 2023

大型语言模型存在地理偏见

通过地理学角度研究大型语言模型的地理知识，展示其在地理空间预测中存在的问题性地理偏差，并 quantifies 目前大型语言模型的偏差程度。

Feb, 2024

GeoLM：地理空间语言理解模型的增强

GeoLM 是一个地理信息语言模型，通过连接文本语料库中的语言信息和来自地理数据库的地理信息，利用对比学习和遮蔽语言建模的方法，结合空间坐标嵌入机制来捕捉地理空间上下文，从而提升自然语言中的地理实体的理解能力。实验证明 GeoLM 在地名识别、地名链接、关系提取和地理实体类型等方面具有良好的能力，弥合了自然语言处理和地理空间科学之间的差距。

Oct, 2023

利用 BERT-Based 模型预测推文的地理位置

使用神经网络、自然语言处理以及高斯混合模型，对推特文本中的地理位置进行预测，在全球范围以及美国范围内实验结果的中位误差分别小于 30 公里和 15 公里。

Mar, 2023

自然语言模型中地理表现的缩放规律

扩展大型语言模型 (LLM) 到研究结果，观察语言模型在扩展时地理知识是如何演变的，并显示较大的语言模型不能消除训练数据中固有的地理偏见。

Feb, 2024

开拓新领域：探索多模态 LLMs 的地理和地理空间能力

通过进行一系列实验，我们研究了多模态大型语言模型在地理和地理空间领域的知识和能力，重点关注前沿模型 GPT-4V 的视觉能力，并与开源模型进行性能比较。我们的方法涉及使用一套地理任务的小规模基准测试这些模型，测试它们在不同难度任务上的能力。分析结果揭示了这些模型的优点，包括超过人类的性能，并揭示了它们的不足之处，提供了它们在地理领域能力的全面视角。为了促进未来模型的比较和评估，我们将公开发布我们的基准测试。

Nov, 2023