EMNLPOct, 2023

辅助工具生成策略的综合评估

PDF
TL;DR通过对不同策略的系统和公平比较，本研究发现强大的无工具基准线策略与工具辅助策略竞争力相当，暗示有效地使用具有上下文演示的工具仍是一个困难的未解决问题；对于知识检索任务，使用工具对错误输出进行改进的策略优于提前或在生成过程中检索相关信息的策略；使用工具的策略在需要工作的标记数量上是昂贵的，造成了显著的性能改善，但这并不意味着将其转化为实质性的性能提升。总之，我们的研究结果表明，少样本工具集成仍然是一个待解决的挑战，强调了对未来策略的全面评估来准确评估其效益和成本的需求。
发现论文，激发创造
  • TOOLVERIFIER：通过自验证实现针对新工具的泛化

    通过自我验证方法，在语言模型中学习使用工具是构建通用助手的重要里程碑，但仍然是一个尚未解决的问题。本研究介绍了一种通过自我对比问题在工具选择和参数生成过程中区分相似候选项的方法。在 ToolBench 基准测试的四个任务上进行了大量实验，包括了 17 个之前未见的工具，结果显示相较于少样本基准线平均提高了 22％，即使在候选工具之间的区别非常微妙的情况下也能有效改进。

    Feb, 2024

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 利用大型语言模型的迭代反馈增强工具检索

    通过迭代反馈的方式，提高大型语言模型对工具检索的理解，从而在领域内外的评估中取得卓越表现。

    Jun, 2024

  • 元工具基准：决定是否使用工具以及选择哪个工具

    本文提出了 MetaTool，这是一个用于评估大型语言模型（LLMs）的工具使用意识和正确选择工具能力的基准测试，并通过实验证明大多数 LLMs 在工具选择方面仍然存在困难。

    Oct, 2023

  • 计划和编辑检索结果以提高工具学习

    通过引入一种新的模型名为 “Plan-and-Retrieve (P&R)” 和 “Edit-and-Ground (E&G)” 的方法，本文提出了一种集成外部工具与大型语言模型的新方法，显著提高了工具检索任务的召回率和 NDCG，并超越了当前最先进的模型。

    Mar, 2024

  • 在 Imaginarium 中的 LLMs: 通过模拟试错学习工具

    提出了一种仿生的方法，即模拟试错（STE），通过协调三个关键机制：试错、想象和记忆，为工具增强的大型语言模型（LLMs）提供成功使用工具的行为。通过在 ToolBench 上进行的综合实验，证明 STE 在上下文学习和微调设置下显著改善了 LLMs 的工具学习，为 Mistral-Instruct-7B 带来了 46.7% 的提升，并使其胜过 GPT-4。同时还展示了通过简单的经验重放策略有效地进行工具的持续学习。

    Mar, 2024

  • 使用几乎免费的代码生成工具？对预训练语言模型在代码上进行少量学习的研究

    本文研究使用预训练的代码语言模型 Codex 进行 few-shot 学习的三个代码操作和生成任务，实现手动开发工具所需的更少的工作量，并提供关于如何设计适当输入和影响模型大小的见解，结果表明 few-shot 语言模型是出乎意料地有效的，但还需要探索更多多样的提示方式来处理更多复杂的任务。

    Jun, 2022

  • 机器翻译人类评估的有效性改进探讨

    本研究探讨了一种简单的降低标注成本的方法，即采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，从而在固定标注预算下获得更高的准确性。在测试集上，相比于纯随机抽样，平均误差降低了高达 20%。该技术易于实现且适用于类似结构的问题。

    Apr, 2022

  • 工具文档实现大语言模型的零投射工具使用

    大语言模型使用工具文档而非演示来实现正确的工具使用，在视觉和语言模式下多个任务中，零样本工具文档能够与少样本演示相媲美，在实际的工具使用数据集中，工具文档明显比演示更有价值，使用工具文档还可以自动启用新应用。

    Aug, 2023

  • 检索即生成

    我们提出了一种新颖的方法，通过从一系列支持文件中选择上下文相关的短语来生成文本，并使用语言学启发式方法初始化训练阐述，并通过迭代的自我增强来加强训练阐述。实验证明，与标准语言模型相比，我们的模型在各种知识密集型任务上不仅表现出色，而且在开放式文本生成中表现出更高的生成质量。我们的模型在 OpenbookQA 上将准确性从 23.47% 提高到 36.27%，在开放式文本生成中的 MAUVE 得分从 42.61% 提高到 81.58%。值得注意的是，我们的模型在几个检索增强基准中实现了最佳性能和最低延迟。总之，我们断言检索是更准确的生成，并希望我们的工作能够鼓励进一步研究这一新的转变。

    Feb, 2024