Jun, 2024

基于 LLM 的关系抽取在历史湖区文本中的空间表示研究

PDF
TL;DR使用生成式预训练转换模型从语料库中提取空间关系，以图形化方式呈现语境内条时关联，深入理解英国湖区的空间构架并揭示多样历史背景下的空间关系。
historical narrativesspatial intricaciesenglish lake districtgenerative pre-trained transformer modelsemantic triples
发现论文，激发创造
  • 评估大型语言模型在几何和空间关系的文本描述中的有效性

    研究使用大型语言模型（LLMs）对几何形状及其空间关系进行表示的能力，并使用 GPT-2 和 BERT 等 LLMs 对几何形状的文本（WKT）格式进行编码，然后将其嵌入分类器和回归器中评估 LLMs 生成的嵌入表示对几何属性的效果。实验证明，尽管 LLMs 生成的嵌入可以保留几何类型并捕捉一些空间关系（准确率高达 73%），但在估计数值和检索空间相关对象方面仍存在挑战。此研究强调了在捕捉底层地理空间数据的细微差别和复杂性以及整合领域知识以支持各种基于 GeoAI 应用的需要改进的重要性。

    Jul, 2023

  • 评估大型语言模型的空间理解能力

    大型语言模型（LLMs）展现出在各种任务中的卓越能力。我们探索 LLMs 对于一种特别显著的基于实际距离的知识，即空间关系的表示。通过设计自然语言导航任务，我们评估了 LLMs（特别是 GPT-3.5-turbo，GPT-4 和 Llama2 系列模型）在表示和推理空间结构方面的能力，并将这些能力与人类在相同任务上的表现进行比较。这些任务揭示了 LLMs 在不同空间结构（包括正方形、六边形和三角形网格、环和树形结构）中的表现变异性。我们还发现，类似于人类，LLMs 利用对象名称作为地标来维护空间地图。最后，在广泛的错误分析中，我们发现 LLMs 的错误反映了空间和非空间因素。这些发现表明，LLMs 似乎能够隐含地捕捉到空间结构的某些方面，但仍有改进空间。

    Oct, 2023

  • 大型语言模型中判断空间关系的失真：自然语言地理数据的黎明？

    我们提出了一个评估大型语言模型（LLM）判断地理位置之间的斜对角方向能力的基准，并将其应用于三个知名的 LLM：GPT-3.5，GPT-4 和 Llama-2。在测试中，GPT-4 表现出优越的性能，准确率为 55.3%，其次是 GPT-3.5 的 47.3%，Llama-2 的 44.7%。尽管这些模型在可能存在层次性偏差的任务上的准确性较低，但它们大多数情况下能够识别最近的基准方向，显示出类似人类的错误理解，我们讨论了直接用代表地理关系的文本数据来改进 LLM 的空间推理能力的潜力。

    Jan, 2024

  • 深度学习在胸部 X-Ray 报告中理解空间语言的表示框架，标注和空间关系提取

    该研究提出了一种基于深度学习自然语言处理的方法，通过从放射学报告中提取空间信息，包括放射学发现、解剖位置、可能诊断以及相关避免使用术语等，从而为诊断提供详细信息。

    Aug, 2019

  • 一种分类和生成相结合的混合模型用于空间关系提取

    本研究提出了一种基于生成和分类混合的新型模型 HMCGR 来从文本中提取空间关系，并应用了反射性评估机制来进一步提高准确性。实验结果表明，HMCGR 显著优于现有的基准模型。

    Aug, 2022

  • 利用知识图谱嵌入增强关系抽取的上下文表示

    本论文使用预训练的知识图谱嵌入模型，结合文本语料库的句子级上下文表示，实现了较高性能的关系抽取模型，并通过实验验证了该方法的有效性和出色性能。

    Jun, 2023

  • 具有韧性和可解释性的关系网络空间参考基础

    本论文提出一种文本条件化的关系网络模型，通过跨模态的注意力机制动态计算参数以捕获实体之间的精细空间关系，从而实现对文本中空间参照的理解，具有可解释性和鲁棒性，在三个任务中实现了 17% 和 15% 的表现改进，从而解决了在自主导航和机器人控制中学习空间概念表示的关键挑战。

    May, 2020

  • GeoLM：地理空间语言理解模型的增强

    GeoLM 是一个地理信息语言模型，通过连接文本语料库中的语言信息和来自地理数据库的地理信息，利用对比学习和遮蔽语言建模的方法，结合空间坐标嵌入机制来捕捉地理空间上下文，从而提升自然语言中的地理实体的理解能力。实验证明 GeoLM 在地名识别、地名链接、关系提取和地理实体类型等方面具有良好的能力，弥合了自然语言处理和地理空间科学之间的差距。

    Oct, 2023

  • GeoLLM：从大型语言模型中提取地理空间知识

    在这篇论文中，我们探讨了机器学习在地理空间预测任务中的应用，提出了一种名为 GeoLLM 的新方法，利用大型语言模型中的地理空间信息和开放街道地图的辅助数据，有效地提取地理空间知识，用于测量人口密度等中心问题，相较于最近邻和直接使用提示信息的基准方法，在多个任务上展现了 70% 的性能提升，并且与卫星数据的基准结果相当甚至超出，证明了大型语言模型在地理空间任务上的可行性和潜力。

    Oct, 2023

  • 基于纯文本语言模型的空间关系基础

    文中通过提供对象的显式位置信息并进行适当训练，展示出仅文本的语言模型（Language Models）可以学习到类似 “左侧” 或 “下方” 等空间关系。通过对视觉空间推理（Visual Spatial Reasoning）数据集的一个口语化版本进行实验，其中图像与包含真实或虚假空间关系的文本语句相配对。作者使用现有的物体检测器给图像增添了位置标记，以文本形式表示每个物体的边界框。尽管视觉空间推理数据集较小，但使用位置信息并无明显改进，然而，通过在由作者衍生的合成数据集上进行预训练，使用位置标记的结果显著改善。作者因此展示了位置信息使语言模型能够对空间关系进行基础性的理解，仅文本的语言模型表现优于视觉与语言模型，成为视觉空间推理数据集的最新技术成果。作者的分析显示，仅文本的语言模型在一定程度上能够推广到合成数据集中未出现的关系，并且还学习了比我们用来创建合成数据集的空间规则中所编码的更有用的信息。

    Mar, 2024