spatial reasoning | BriefGPT

关键词spatial reasoning

搜索结果 - 50

FlowVQA：将流程图用于视觉问答中的多模态逻辑映射
FlowVQA 是一个新颖的基准测试，旨在评估多模态语言模型在使用流程图作为视觉上下文进行推理的能力，其组成包括来自三个不同内容来源的 2,272 张经过精心生成和人工验证的流程图像以及 22,413 个多样化的问答对，以测试一系列推理任务
PDF7 days ago
CityGPT：大型语言模型赋能城市空间认知
CityGPT 是一种用于增强大型语言模型在理解城市空间和解决相关城市任务方面能力的系统框架，通过在模型中构建城市规模的世界模型，并使用包含城市知识的多样化指令调整数据集 CityInstruction 来进行模型微调，实现对城市空间的理解
PDF14 days ago
神经符号训练用于空间语言推理
通过使用神经符号技术对语言模型进行培训，可以利用推理的逻辑规则作为约束，并为模型提供额外的监督来源，以弥补由于无法达到所需的抽象水平而在未观察到的复杂输入组合中难以提供解决方案的问题。我们聚焦于文本上的空间推理这一具有挑战性的问题，通过在多
PDF15 days ago
在 Common Crawl 语料库中量化地理空间
分析大型语言模型对 Common Crawl 数据集的地理空间数据的利用率，发现 1/5 至 1/6 的文档中包含有经纬度和街道地址等地理空间信息，为进一步研究有关地理空间内容对大型语言模型的影响提供了定量的见解。
PDFa month ago
ACLSpaRC 和 SpaRP：用于理解大型语言模型的空间推理能力的空间推理特征描述和路径生成
当前最先进的大型语言模型（LLMs）在空间推理方面性能较差，但随着模型规模的扩大，在空间推理能力上有了显著提升，Finetuning 大或小型语言模型可以显著提高它们的 F1 分数，专有的 LLMs 在拓扑空间理解和推理方面明显优于开源模型
PDFa month ago
TopViewRS: 视觉 - 语言模型作为俯视空间推理器
基于 TopViewRS 数据集，评估了代表性的开源和闭源可见语言模型在不同复杂度的感知和推理任务上的表现，并发现其性能明显低于人类平均水平，强调了提升模型在地理空间推理方面的能力的迫切需求，并为进一步研究出路提供了基础。
PDFa month ago
DiffUHaul: 图像中无需训练的物体拖动方法
通过局部的文本到图像模型的空间理解，提出了一种不需要训练的方法 DiffUHaul，用于对象拖动任务，并通过注意力掩蔽、自我注意力共享机制和扩散锚定技术来改进编辑性能，并使用 DDPM 自我注意力分桶来适应真实图像编辑。
PDFa month ago
SpatialRGPT：视觉语言模型中的基于场景的空间推理
通过数据处理和深度信息集成，Spatial Region GPT (SpatialRGPT) 提升了 Vision Language Models (VLMs) 的空间感知和推理能力，并且在空间推理任务中显著提高了性能。
PDFa month ago
IJCAI语言模型中的空间推理评估重新构架：定性推理的现实世界模拟基准
我们提出了一个新的基准评估语言模型中的定性空间推理，该基准建立在逼真的三维仿真数据上，提供了一系列具有多样化房间布局、不同对象及其空间关系的详细和富有背景的叙述。我们的基准评估了先进的语言模型在空间推理方面的优势和局限性，发现它们在多跳空间
PDFa month ago
大型语言模型能否为空间推理任务创造新的知识？
大型语言模型（LLMs）具有生成新信息的潜力，这对于研究和创新来说是一个潜在的重大突破。本文观察到 LLMs 能够对具有空间维度的问题进行复杂推理，这表明现有的 LLMs 能够达到相当程度的理解能力，支持其具有重要的新现象产生特性。特别地，
PDFa month ago
借助大型语言模型重新思考逆向图形
通过大型语言模型中编码的广泛世界知识，我们提出了一个反向图形的大型语言模型（IG-LLM）框架，将视觉嵌入解码为结构化的、组合的三维场景表示，从而展示了语言模型在逆向图形中的潜力，并推动了关于图像的精确空间推理的新可能性。
PDF2 months ago
解决多智能体成群问题中大型语言模型面临的挑战
通过解决多智能体集群问题，研究了大型语言模型（LLMs）在空间推理和协作方面的挑战以及未来改进和研究方向。
PDF3 months ago
思维可视化激发大型语言模型的空间推理
大型语言模型中的空间推理能力相对较少探索，在本文中，我们提出了一种名为 Thought 可视化的方法，通过可视化语言模型的推理轨迹来引导后续的推理步骤，实验证明 Thought 可视化显著增强了语言模型的空间推理能力，并且在多跳空间推理任务
PDF3 months ago
擅长标题，计数能力差：在地球观测数据上评估 GPT-4V
对大型视觉语言模型在地球观测数据中的能力进行了评估，发现其在场景理解和空间推理等任务上表现出色，但在物体定位和计数任务上有一定局限性，因此提出了一个全面的评估基准。
PDF5 months ago
透过树木看见道路：一种利用航空影像对空间依赖性建模的基准
本研究提出了一种用于评估地理空间机器学习模型空间远程上下文理解能力的道路分割基准数据集，展示了常用的语义分割模型在该任务中的失败情况，并分析了模型在决策的相关背景（未遮挡的道路）距离变化时的性能变化。
PDF6 months ago
CVPRStarCraftImage: 用于多智能体环境空间推理方法原型设计的数据集
基于 StarCraft II 游戏重播构建了一个空间推理基准数据集，用于在多智能体环境中原型设计和测试推理方法。
PDF6 months ago
大型语言模型中判断空间关系的失真：自然语言地理数据的黎明？
我们提出了一个评估大型语言模型（LLM）判断地理位置之间的斜对角方向能力的基准，并将其应用于三个知名的 LLM：GPT-3.5，GPT-4 和 Llama-2。在测试中，GPT-4 表现出优越的性能，准确率为 55.3%，其次是 GPT-3
PDF6 months ago
AAAI大型语言模型的空间推理推进：使用 StepGame 基准进行深入评估和增强
人工智能在许多领域取得了显著进展，类似 ChatGPT 这样的大型语言模型因其人类化的文本生成能力而受到了广泛关注。然而，空间推理仍然是这些模型面临的重大挑战。本研究通过改进 StepGame 基准测试，提供了更准确的数据集用于模型评估，并
PDF6 months ago
LiDAR-LLM：探索大语言模型在 3D LiDAR 理解方面的潜力
LiDAR-LLM 使用 Large Language Models（LLMs）和 Multimodal Large Language Models（MLLMs）来理解 3D 场景，通过重新构建 3D 场景认知为语言建模问题并使用 View
PDF6 months ago
文本到视频生成的层次化时空解耦
提出了 HiGen，一种基于扩散模型的方法，通过从结构层面和内容层面解耦视频的空间和时间因素，实现了在生成视频时具备语义准确性和运动稳定性的方法。
PDF7 months ago