大型语言模型工具的结构嵌入

Aug, 2023

Structural Embeddings of Tools for Large Language Models

Eren Unlu

TL;DR当前大型语言模型 (LLMs) 的现状需要融入外部工具。目前已有研究证明缺乏直接的代数和逻辑推理，促使研究人员开发了允许 LLMs 通过外部工具操作的框架。本文的核心目的是强调图形化方法在 LLM 与工具互动中的重要性。我们提出了一个示例框架，用于指导将外部工具与 LLMs 的数量呈指数增长的协同工作，其中工具的目标和功能以图形编码的层次结构呈现。假设文本的思维链 (CoT) 可以被想象为一个工具，基于图形的框架也可以在这一特定方向上开辟新的途径。

Abstract

It is evident that the current state of large language models (LLMs) necessitates the incorporation of external tools. The lack of straightforward algebraic and logical reasoning is well documented and prompted r

large language models external tools algebraic reasoning directed acyclic graph graph-based approaches

发现论文，激发创造

ToolNet: 通过工具图连接大型语言模型与强大工具

ToolNet 是一个可拔插的框架，通过将工具组织成有向图的方式，使大语言模型能够处理成千上万个工具，并通过迭代选择来解决问题，从而在具有挑战性的多跳工具学习数据集中取得显著结果，并且具有工具故障的弹性。

Feb, 2024

ControlLLM: 通过在图上搜索来增强语言模型的工具

我们介绍了 ControlLLM，这是一个新颖的框架，使得大型语言模型能够利用多模态工具来解决复杂的现实世界任务，通过使用任务分解器、Thoughts-on-Graph（ToG）范式和具备丰富工具箱的执行引擎，在图像、音频和视频处理等多样任务中展示出了超群的准确性、效率和多功能性。

Oct, 2023

工具链：大型语言模型作为自动多功能学习器

通过自动工具链和黑盒探测方法，为大型语言模型提供了扩展功能，使其成为多工具用户，能够主动发现和使用新工具，从而解决实际任务中的规划和工具选择的挑战。

May, 2024

图式推理：基于图形的增强大型语言模型

使用 Graph-CoT 框架，通过对图进行迭代推理，将大型语言模型（LLMs）与图相结合，从而提高知识密集型任务中的性能。

Apr, 2024

从查询工具到因果架构：利用大型语言模型从数据中进行先进的因果发现

本文提出了一种结合基于知识的 LLMs 因果分析和数据驱动因果结构学习的新框架，以构建因果结构学习的新范式，并介绍了一套广泛的提示组，以从给定变量中提取因果图，并评估 LLM 先前因果对从数据中恢复因果结构的影响

Jun, 2023

利用链式抽象推理进行高效工具使用

大型语言模型需要通过链接现实世界的知识来实现与人类期望一致的准确推理。我们提出了一种新的方法，使用抽象链条进行计划，从而使语言模型能够更好地利用工具进行多步推理，并取得更高效的工具使用和更快的推理速度。

Jan, 2024

图上的大型语言模型：综合调查

通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾，我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点，并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后，我们提出了这一快速发展领域的潜在未来研究方向。

Dec, 2023

Graph-ToolFormer：通过 ChatGPT 增强 Prompt 为 LLMs 赋予图推理能力

本文旨在通过图形推理方法对大型语言模型进行增强，以使其能够完成复杂的图形学习任务，包括基本的图形数据推理和更高级的实际应用推理，我们提出了一个名为 Graph-ToolFormer 的框架，并在各种图形推理数据集和任务上进行了初步的实验研究。

Apr, 2023

大型语言模型作为工具制造者

该研究提出了一种基于大型语言模型 (LLMs) 的闭环框架 LLMs As Tool Makers (LATM)，通过该框架，LLMs 可以自己创建可重用的工具以解决问题，并验证了该方法在包括 Big-Bench 任务在内的复杂推理任务中的有效性，使用 GPT-4 作为工具制造者和 GPT-3.5 作为工具用户，LATM 的性能与使用 GPT-4 制造和使用工具的性能相当，而推理成本显著降低。

May, 2023

基于 LLM 的中间件：工具在复杂环境中对语言代理很重要

本研究探讨了利用工具增强大规模语言模型在处理复杂环境中的潜力，并通过在知识库和数据库等复杂环境中的实证来展示这种潜力。结果表明，配备这些工具的 GPT-4 在需要访问数据库内容的任务中性能提高了 2.8 倍，在知识库任务中提高了 2.2 倍。这些发现为在复杂实际应用中推进语言模型的发展指明了方向。

Feb, 2024