Jan, 2024

ToolEyes：大规模语言模型在实际场景中工具学习能力的细粒度评估

PDF
TL;DR现有对工具学习的评估主要集中在验证大型语言模型（LLMs）与预期结果的工具选择的一致性上。然而，这些方法依赖于一组有限的可以预先确定答案的场景，与真实需求相背离。此外，过于关注结果忽略了 LLMs 有效利用工具所必需的复杂能力。为解决这个问题，我们提出了 ToolEyes，一个精细的系统，用于评估 LLMs 在真实场景中的工具学习能力。该系统细致地检查了七个现实世界的场景，分析了对 LLMs 在工具学习中至关重要的五个方面：格式对齐、意图理解、行为规划、工具选择和答案组织。此外，ToolEyes 还采用了一个拥有约 600 个工具的工具库，充当 LLMs 与物理世界之间的中介。涉及三个类别的十个 LLMs 的评估结果表明对特定场景有偏好，并且在工具学习方面的认知能力有限。有趣的是，模型尺寸的扩大甚至加剧了对工具学习的阻碍。这些发现提供了对推动工具学习领域的有益见解。
发现论文，激发创造
  • T-Eval: 逐步评估工具利用能力

    大型语言模型的工具利用能力评估需要细致分解，利用指导、规划、推理、检索、理解和审查等多个子过程，通过 T-Eval 提供了多个子领域的工具利用评估，既展示了结果导向评估的一致性，也提供了对大型语言模型能力的细粒度分析。

    Dec, 2023

  • 计划、创建、使用：实际复杂场景中综合工具利用的 LLM 基准测试

    通过 UltraTool，我们提供了一个新的基准来改进和评估大型语言模型在实际场景中利用工具的能力，重点关注从规划、创建到应用工具的整个过程，并强调了真实世界的复杂性，需要准确的多步规划来解决问题，从而为这个快速发展的领域提供了新的见解。

    Jan, 2024

  • 利用大型语言模型的迭代反馈增强工具检索

    通过迭代反馈的方式，提高大型语言模型对工具检索的理解，从而在领域内外的评估中取得卓越表现。

    Jun, 2024

  • 大语言模型的工具学习：综述

    最近，利用大型语言模型（LLMs）进行工具学习已经成为增强 LLMs 能力以解决高度复杂问题的一种有前景的范式。尽管这一领域受到越来越多关注和快速发展，但现有文献仍然零散且缺乏系统组织，对于新手来说存在进入障碍。本文通过对现有关于 LLMs 工具学习的文献进行综述，旨在探讨为什么工具学习有益以及如何实现工具学习，从而全面了解 LLMs 工具学习。首先，我们通过从六个具体方面回顾工具整合的益处以及工具学习范式的内在益处来探讨 “为什么”。在 “如何” 方面，我们根据工具学习工作流程的四个关键阶段（任务规划、工具选择、工具调用和响应生成）系统综述了现有文献。此外，我们还详细总结了现有的基准和评估方法，并根据其与不同阶段的相关性进行分类。最后，我们讨论了当前的挑战，并概述了潜在的未来方向，旨在鼓励研究人员和工业开发者进一步探索这一新兴而有前景的领域。

    May, 2024

  • 元工具基准：决定是否使用工具以及选择哪个工具

    本文提出了 MetaTool，这是一个用于评估大型语言模型（LLMs）的工具使用意识和正确选择工具能力的基准测试，并通过实验证明大多数 LLMs 在工具选择方面仍然存在困难。

    Oct, 2023

  • Tool-LMM：一个用于工具智能学习的大型多模态模型

    通过使用多模态编码器将开源大语言模型（LLM）与多模态输入指令结合起来，我们提出了 Tool-LMM 系统，使学习的 LLMs 能够意识到多模态输入指令并正确选择匹配功能的工具，实验证明我们的 LMM 能够为多模态指令推荐适当的工具。

    Jan, 2024

  • FAC$^2$E：通过区分语言和认知来更好地理解大型语言模型的能力

    FAC$^2$E 是一个针对大型语言模型 (LLMs) 的能力评估框架，通过提取 LLMs 的中间推理，将特定能力应用过程分解为三个子步骤，并评估每个细分能力的各个子步骤，从而全面区分 LLMs 的语言相关能力和认知相关能力。利用 FAC$^2$E，我们发现模型中知识利用方面存在常见不足，并提出了一种简单、知识增强的方法来缓解这个问题。我们的研究不仅展示了有希望的性能改进，还为未来 LLMs 的发展方向提供了启示。

    Feb, 2024

  • 在 Imaginarium 中的 LLMs: 通过模拟试错学习工具

    提出了一种仿生的方法，即模拟试错（STE），通过协调三个关键机制：试错、想象和记忆，为工具增强的大型语言模型（LLMs）提供成功使用工具的行为。通过在 ToolBench 上进行的综合实验，证明 STE 在上下文学习和微调设置下显著改善了 LLMs 的工具学习，为 Mistral-Instruct-7B 带来了 46.7% 的提升，并使其胜过 GPT-4。同时还展示了通过简单的经验重放策略有效地进行工具的持续学习。

    Mar, 2024

  • ToolQA: 一个带有外部工具的 LLM 问答数据集

    为了有效评估 Large Language Models（LLMs） 使用外部工具回答问题的能力，我们开发了一个名为 ToolQA 的新数据集，并使用可伸缩的自动化过程进行数据集的管理，并使用 13 种专门设计的工具进行交互以回答问题。

    Jun, 2023

  • 工具对话：在对话场景中评估工具使用

    使用大型语言模型（LLMs）来拓展助手功能，提供对私人或最新信息的访问和用户代理人操作行为的量化评估工具，称为 ToolTalk。该工具包括 28 个工具和 7 个插件，模拟实现每个工具，并强调对外部世界产生影响的工具。通过在 GPT-3.5 和 GPT-4 上应用 ToolTalk 评估，找出错误类别并提出改进方向。

    Nov, 2023