研究使用大型语言模型（LLMs）对几何形状及其空间关系进行表示的能力，并使用GPT-2和BERT等LLMs对几何形状的文本（WKT）格式进行编码，然后将其嵌入分类器和回归器中评估LLMs生成的嵌入表示对几何属性的效果。实验证明，尽管LLMs生成的嵌入可以保留几何类型并捕捉一些空间关系（准确率高达73%），但在估计数值和检索空间相关对象方面仍存在挑战。此研究强调了在捕捉底层地理空间数据的细微差别和复杂性以及整合领域知识以支持各种基于GeoAI应用的需要改进的重要性。

Jul, 2023

概念空间理论是一种有影响力的认知语言框架，用于表示概念的意义。通过挖掘大型语言模型（LLM）学习概念空间的潜力，研究发现BERT家族的精细调整模型能与甚至胜过最大的GPT-3模型，尽管体积要小2到3个数量级。

Oct, 2023

大型语言模型（LLMs）展现出在各种任务中的卓越能力。我们探索LLMs对于一种特别显著的基于实际距离的知识，即空间关系的表示。通过设计自然语言导航任务，我们评估了LLMs（特别是GPT-3.5-turbo，GPT-4和Llama2系列模型）在表示和推理空间结构方面的能力，并将这些能力与人类在相同任务上的表现进行比较。这些任务揭示了LLMs在不同空间结构（包括正方形、六边形和三角形网格、环和树形结构）中的表现变异性。我们还发现，类似于人类，LLMs利用对象名称作为地标来维护空间地图。最后，在广泛的错误分析中，我们发现LLMs的错误反映了空间和非空间因素。这些发现表明，LLMs似乎能够隐含地捕捉到空间结构的某些方面，但仍有改进空间。

Oct, 2023

大型语言模型在时间上没有实质依据，缺乏自洽性并且表现出不一致的行为性。

Nov, 2023

通过表示相似性分析和线性和非线性探测，我们发现了DeBERTa和GPT-Neo中潜在的空间表示，并通过因果干预实验证明了空间表示对模型的下一个词预测性能和依赖地理空间信息的下游任务的影响，这些实验证明了大型语言模型在解决地理空间相关任务时学习和使用内部空间模型。

Dec, 2023

通过提出 STG-LLM 方法，本文解决了序列文本与复杂空间-时间数据之间的不匹配问题，通过 STG-Tokenizer 和 STG-Adapter，将大型语言模型的能力应用于空间-时间预测，取得了与专用方法相媲美的竞争性性能。

Jan, 2024

扩展大型语言模型(LLM)到研究结果，观察语言模型在扩展时地理知识是如何演变的，并显示较大的语言模型不能消除训练数据中固有的地理偏见。

Feb, 2024

大型语言模型（LLMs）与三维空间数据（3D-LLMs）的整合不断进步，为理解和与物理空间互动提供了前所未有的能力。本文综述了使LLMs能够处理、理解和生成3D数据的方法，强调了其在上下文学习、逐步推理、开放词汇能力和广泛的世界知识等独特优势，并强调了它们在体现人工智能系统中显著促进空间理解和互动方面的潜力。我们的研究涵盖了从点云到神经辐射场（NeRFs）等各种3D数据表示，分析了它们与LLMs的整合在3D场景理解、字幕生成、问答和对话，以及基于LLMs的空间推理、规划和导航等任务中的应用，同时还对整合3D和语言的其他方法进行了简要回顾。本文的元分析显示取得了显著进展，但也强调了利用3D-LLMs的全部潜力需要创新方法的必要性。因此，本文旨在为未来的研究规划一个探索和扩展3D-LLMs在理解和与复杂3D世界互动方面能力的道路。为了支持这项综述，我们建立了一个项目页面，其中整理和列出了与我们的主题相关的论文。

May, 2024

大型语言模型（LLMs）具有生成新信息的潜力，这对于研究和创新来说是一个潜在的重大突破。本文观察到LLMs能够对具有空间维度的问题进行复杂推理，这表明现有的LLMs能够达到相当程度的理解能力，支持其具有重要的新现象产生特性。特别地，Claude 3在这方面表现良好。

May, 2024

使用大型语言模型研究大脑信号，通过测量模型的预测能力和大脑的相似性，关注大脑活动对语言处理的核心元素，并发现过度依赖大脑信号评分可能导致对大型语言模型与大脑相似性的过度解读。

Jun, 2024