May, 2023

ToolkenGPT: 利用工具嵌入增强冻结语言模型

PDF
TL;DR本研究提出了一种名为 ToolkenGPT 的方法，通过 in-context learning 实现大量工具集的无缝扩展，从而有效提升了 LLM 在数字推理、问题回答和行动计划生成等领域中的性能表现。
large language modelsin-context learningtoolkengpttoolsnumerical reasoning
发现论文，激发创造
  • ToolNet: 通过工具图连接大型语言模型与强大工具

    ToolNet 是一个可拔插的框架，通过将工具组织成有向图的方式，使大语言模型能够处理成千上万个工具，并通过迭代选择来解决问题，从而在具有挑战性的多跳工具学习数据集中取得显著结果，并且具有工具故障的弹性。

    Feb, 2024

  • GPT4Tools: 通过自我学习教授大型语言模型使用工具

    本文提出了一种名为 GPT4Tools 的方法，利用自我指导生成指令遵循的数据集，并利用 LoRA 优化，使开源 LLMs 解决一系列视觉问题，如视觉理解和图像生成。经过广泛实验，表明该方法不仅显著提高了调用已知工具的准确性，而且还使得未知工具具有零 - shot 能力。

    May, 2023

  • GEAR: 增强语言模型的通用和高效工具分辨性能

    GEAR 是一种计算高效的查询工具接地算法，能够在不依赖任务特定演示的情况下，提供任务特定工具的使用，并且具有更高的计算效率和较高的工具接地精确性。

    Jul, 2023

  • 元工具基准：决定是否使用工具以及选择哪个工具

    本文提出了 MetaTool，这是一个用于评估大型语言模型（LLMs）的工具使用意识和正确选择工具能力的基准测试，并通过实验证明大多数 LLMs 在工具选择方面仍然存在困难。

    Oct, 2023

  • 大型语言模型作为工具制造者

    该研究提出了一种基于大型语言模型 (LLMs) 的闭环框架 LLMs As Tool Makers (LATM)，通过该框架，LLMs 可以自己创建可重用的工具以解决问题，并验证了该方法在包括 Big-Bench 任务在内的复杂推理任务中的有效性，使用 GPT-4 作为工具制造者和 GPT-3.5 作为工具用户，LATM 的性能与使用 GPT-4 制造和使用工具的性能相当，而推理成本显著降低。

    May, 2023

  • 大型语言模型工具的结构嵌入

    当前大型语言模型 (LLMs) 的现状需要融入外部工具。目前已有研究证明缺乏直接的代数和逻辑推理，促使研究人员开发了允许 LLMs 通过外部工具操作的框架。本文的核心目的是强调图形化方法在 LLM 与工具互动中的重要性。我们提出了一个示例框架，用于指导将外部工具与 LLMs 的数量呈指数增长的协同工作，其中工具的目标和功能以图形编码的层次结构呈现。假设文本的思维链 (CoT) 可以被想象为一个工具，基于图形的框架也可以在这一特定方向上开辟新的途径。

    Aug, 2023

  • 基于 LLM 的中间件：工具在复杂环境中对语言代理很重要

    本研究探讨了利用工具增强大规模语言模型在处理复杂环境中的潜力，并通过在知识库和数据库等复杂环境中的实证来展示这种潜力。结果表明，配备这些工具的 GPT-4 在需要访问数据库内容的任务中性能提高了 2.8 倍，在知识库任务中提高了 2.2 倍。这些发现为在复杂实际应用中推进语言模型的发展指明了方向。

    Feb, 2024

  • AMGPT：用于增材制造中上下文查询的大型语言模型

    AMGPT 是一种专门设计用于金属增材制造领域的 LLM 文本生成模型，通过在 Retrieval-Augmented Generation (RAG) 设置中使用预训练的 Llama2-7B 模型，并动态地融入来自约 50 篇金属增材制造领域的论文和教材的信息，实现了在 AM 领域的文献导航和查询的目标。

    May, 2024

  • 工具对话：在对话场景中评估工具使用

    使用大型语言模型（LLMs）来拓展助手功能，提供对私人或最新信息的访问和用户代理人操作行为的量化评估工具，称为 ToolTalk。该工具包括 28 个工具和 7 个插件，模拟实现每个工具，并强调对外部世界产生影响的工具。通过在 GPT-3.5 和 GPT-4 上应用 ToolTalk 评估，找出错误类别并提出改进方向。

    Nov, 2023

  • MultiTool-CoT: GPT-3 可使用多个外部工具，通过思维链提示

    提出一种名为 MultiTool-CoT 的新型架构，通过链式思考提示（CoT prompting）引入多种外部工具（如计算器和知识检索器）来执行推理，进一步改善大语言模型（LLMs）在各种推理任务上的表现，将其应用于 NumGLUE 的任务 2 数据集，并获得该领域的最佳表现。

    May, 2023