GraphIC：一种基于图的上下文示例检索模型用于多步推理

Oct, 2024

GraphIC：一种基于图的上下文示例检索模型用于多步推理

GraphIC: A Graph-Based In-Context Example Retrieval Model for Multi-Step Reasoning

Jiale Fu, Yaqing Wang, Simeng Han, Jiaming Fan, Chen Si...

TL;DR本研究解决的主要问题是传统文本嵌入方法在多步推理任务中的有效性不足。我们提出的GraphIC方法采用图形表示推理过程，并结合贝叶斯网络选择上下文示例，有效捕捉了深层推理结构。实验结果显示，GraphIC在多步推理任务的上下文示例选择中显著优于现有模型，提高了上下文学习的性能和互操作性。

Abstract

In-context learning (ICL) enables large language models (LLMs) to generalize to new tasks by incorporating a few in-context examples (ICEs) directly in the input, without updating parameters. However, the effectiveness of ICL heavily relies on the selection of ICEs, and conventional text-based embedding methods are often inadequate for tasks that require

发现论文，激发创造

指代表达理解的动态图注意力

本文探讨了语言驱动的视觉推理的问题，提出了一种动态图注意力网络来执行多步推理，并针对复杂的语言表达能力生成可解释的视觉证据。实验结果表明，所提出的方法不仅可以显着超过三个常见基准数据集上的所有现有最新算法，而且还能生成可解释的视觉证据来逐步地定位所描述的物体。

Sep, 2019

大型语言模型中的思维过程图推理：超越思维链的有效方法

使用T5预训练模型实现了图形思维推理模型，提高了基于文本推理任务GSM8K的性能和面向多模态的推理任务ScienceQA的准确率，通过较少的骨干模型参数与基于700M参数的Multimodal-CoT模型获得相当的结果，探索了非线性思考的建模方法。

May, 2023

图上推理：忠实且可解释的大型语言模型推理

本论文提出了一种理论上基于知识图谱的新方法——图推理（RoG），该方法通过将大型语言模型（LLMs）与知识图谱（KGs）相结合，实现了忠实和可解释的推理，实验结果表明RoG在KG推理任务上取得了最先进的性能。

Oct, 2023

从复杂到简单：揭示小型语言模型推理的认知树

通过使用认知树 (CogTree) 框架，我们揭示了语言模型的认知推理能力，并证明可以使用明显较小的语言模型 (<=7B) 达到与GPT-3.5相当的性能水平，而GPT-3.5具有更多的参数（175亿）。

Nov, 2023

大型语言模型的检索增强多模态思维链推理

使用检索机制动态自动选择基于跨模态相似性的示例，以提升多模态推理中大型语言模型的性能。对各类示例进行分组并分别从不同组中检索示例，以增加示例的多样性。通过一系列实验，我们证明了我们的方法在多模态推理任务中取得了显著的性能改进。

Dec, 2023

探索大型语言模型中图推理的局限性

预训练大型语言模型通过仅基于语言的提示已经展示出各种类型的推理能力。然而，在本文中，我们通过图形推理问题测试了5种不同的LLMs（GPT-4、GPT-3.5、Claude-2、Llama-2和Palm-2）的图形推理深度。我们设计了10个不同的图形遍历问题，每个问题代表了不断增加的复杂性水平。此外，我们分析了模型在不同设置下的性能，例如图形大小的变化以及不同形式的k-shot提示。我们通过此基准测试过程突出了LLMs的各种限制、偏见和属性，例如与图中每个节点遍历的自由度平均值呈反比关系，k-shot提示对图形推理任务的整体负面影响以及积极的响应偏差，这使得LLMs无法识别有效解的缺失。最后，我们提出了一种专门针对图形遍历任务设计的新提示技术，称为PathCompare，它在LLMs的性能方面与标准提示和CoT相比表现出显着增加。

Feb, 2024

结构引导提示：通过探索文本的图结构，在多步推理中指导大型语言模型

我们的论文引入了结构引导提示，这是一个创新的三阶段任务无关提示框架，旨在提高大型语言模型在零样本环境下的多步推理能力。通过将非结构化文本转换为图形，指导模型在图形中导航，并使用任务特定的策略来制定响应，我们的实验表明这一框架显著增强了大型语言模型的推理能力，使其在更广泛的自然语言场景中表现出色。

Feb, 2024

图式推理：基于图形的增强大型语言模型

使用Graph-CoT框架，通过对图进行迭代推理，将大型语言模型（LLMs）与图相结合，从而提高知识密集型任务中的性能。

Apr, 2024

提升知识图谱中多跳逻辑推理的上下文感知查询表示学习

通过全面整合FOL查询图的上下文，我们提出了一种模型不可知的方法，增强了现有的多跳逻辑推理方法，在两个数据集上的实验中，我们的方法始终提升了三个多跳推理基准模型的性能，最高可达19.5%。

Jun, 2024

基于推理图增强的语境学习样本检索

本研究针对现有示例选择方法主要集中于查询与候选示例之间的语义相似性这一问题，提出了一种新的方法——推理图增强示例检索（RGER）。通过将问题解决的中间步骤表示为图结构，RGER利用图核选择具有语义和结构相似性的示例，显示了其在数学和逻辑推理任务中的优越性，显著提高了大语言模型的性能。

Sep, 2024