Jan, 2024

大型语言模型中判断空间关系的失真：自然语言地理数据的黎明？

HTML
PDF
TL;DR我们提出了一个评估大型语言模型（LLM）判断地理位置之间的斜对角方向能力的基准，并将其应用于三个知名的LLM：GPT-3.5，GPT-4和Llama-2。在测试中，GPT-4表现出优越的性能，准确率为55.3%，其次是GPT-3.5的47.3%，Llama-2的44.7%。尽管这些模型在可能存在层次性偏差的任务上的准确性较低，但它们大多数情况下能够识别最近的基准方向，显示出类似人类的错误理解，我们讨论了直接用代表地理关系的文本数据来改进LLM的空间推理能力的潜力。
发现论文，激发创造
  • 大型语言模型具备地理空间知识吗？

    该研究通过探测具备预训练能力的大型语言模型对地理数据的理解程度和与此相关的促进地理空间决策的能力，通过三个实验验证结论，表明合成地理空间知识需要更大规模和更复杂的语言模型，并且对于处理地理空间信息，大型语言模型的潜力和局限性值得研究。

    Oct, 2023

  • 评估大型语言模型的空间理解能力

    大型语言模型（LLMs）展现出在各种任务中的卓越能力。我们探索LLMs对于一种特别显著的基于实际距离的知识，即空间关系的表示。通过设计自然语言导航任务，我们评估了LLMs（特别是GPT-3.5-turbo，GPT-4和Llama2系列模型）在表示和推理空间结构方面的能力，并将这些能力与人类在相同任务上的表现进行比较。这些任务揭示了LLMs在不同空间结构（包括正方形、六边形和三角形网格、环和树形结构）中的表现变异性。我们还发现，类似于人类，LLMs利用对象名称作为地标来维护空间地图。最后，在广泛的错误分析中，我们发现LLMs的错误反映了空间和非空间因素。这些发现表明，LLMs似乎能够隐含地捕捉到空间结构的某些方面，但仍有改进空间。

    Oct, 2023

  • 大型语言模型的空间推理推进：使用StepGame基准进行深入评估和增强

    人工智能在许多领域取得了显著进展，类似ChatGPT这样的大型语言模型因其人类化的文本生成能力而受到了广泛关注。然而，空间推理仍然是这些模型面临的重大挑战。本研究通过改进StepGame基准测试，提供了更准确的数据集用于模型评估，并分析了GPT在修正后的基准测试上的空间推理性能。我们发现GPT在将自然语言文本映射到空间关系方面表现出了优势，但在多跳推理方面存在局限性。我们通过将模板到关系映射与基于逻辑的推理相结合，提供了基准测试的完美解决方案，可以在StepGame上进行定性推理而不会出现任何错误。此外，我们还针对GPT模型在空间推理方面的局限性进行了改进，采用了连续思考和思维树提示策略，在准确性方面取得了显著的改善。我们的研究不仅揭示了模型的不足之处，还提出了增强措施，为具备更强大空间推理能力的人工智能的进展做出了贡献。

    Jan, 2024

  • 自然语言模型中地理表现的缩放规律

    扩展大型语言模型(LLM)到研究结果，观察语言模型在扩展时地理知识是如何演变的，并显示较大的语言模型不能消除训练数据中固有的地理偏见。

    Feb, 2024

  • 评估语言模型中的地理扭曲：迈向公平表达的关键一步

    研究语言模型中的地理偏见，通过比较地理和语义距离，提出四个指标来评估这些偏见，结果强调了检查和纠正语言模型的空间偏见对于确保准确和公平的表达是至关重要的。

    Apr, 2024

  • 语言模型中的空间推理评估重新构架: 定性推理的现实世界模拟基准

    我们提出了一个新的基准评估语言模型中的定性空间推理，该基准建立在逼真的三维仿真数据上，提供了一系列具有多样化房间布局、不同对象及其空间关系的详细和富有背景的叙述。我们的基准评估了先进的语言模型在空间推理方面的优势和局限性，发现它们在多跳空间推理和解释混合视角描述方面存在困难，并指出了未来改进的方向。

    May, 2024

  • 在空间任务上评估大型语言模型：多任务基准研究

    本研究针对当前大型语言模型在空间任务上的评估缺乏进行深入探讨，提出了一套新颖的多任务空间评估数据集，系统比较多种模型的性能。研究发现，gpt-4o在总体准确度上表现最佳，而不同的提示策略对模型在特定任务的表现有显著影响，如COT策略在路径规划任务中将gpt-4o的准确率提升至87.5%。

    Aug, 2024

  • 评估大型语言模型在空间任务上的表现：一项多任务基准研究

    本研究解决了大型语言模型在空间任务上评估不足的问题，介绍了一种新的多任务空间评估数据集，系统地探索和比较多种先进模型的表现。研究发现，gpt-4o在总体准确性上表现最佳，平均准确率为71.3%，而特定提示策略显著提高了模型在某些任务中的表现。

    Aug, 2024

  • 在空间任务上评估大型语言模型：多任务基准研究

    本研究填补了大型语言模型在空间任务表现评估的空白，通过引入一个新的多任务空间评估数据集，系统性探讨和比较了多种先进模型在空间任务上的表现。研究发现，gpt-4o在整体准确率上表现最佳，同时特定的提示策略显著提升了模型在特定任务中的表现。

    Aug, 2024

  • 视觉-语言模型如何表示空间？在模糊性下评估空间参考框架

    本研究针对视觉-语言模型(VLMs)在空间表达中存在的模糊性问题进行探讨，提出了一种新的评估协议COMFORT，用于系统性评估VLMs的空间推理能力。研究发现，尽管这些模型在某些情况下与英语约定相符，但在鲁棒性、灵活性以及对跨语言测试中的文化特定约定的遵守方面存在显著不足，呼吁对空间推理中的模糊性和跨文化差异给予更多关注。

    Oct, 2024