Jun, 2024

AvaTaR：优化 LLM 代理以实现辅助工具的知识检索

PDF
TL;DRAvaTaR 是一种利用外部工具和知识来提高准确性和降低幻觉的新颖且自动化的框架，通过设计比较模块来为大语言模型代理提供有洞察力和整体性的提示，优化其在给定任务 / 领域上的表现，在四个复杂的多模式检索数据集上表现出色，并在新领域中展现强大的泛化能力，Hit@1 指标平均相对改进 14%。
large language modelavatarexternal toolspromptsmultimodal retrieval
发现论文，激发创造
  • LARA：语言适应检索增强多轮意图分类的语言模型

    综合实验表明，LARA 在多轮意图分类任务上的性能处于最先进水平，相较于现有方法提高了 3.67% 的平均准确率。

    Mar, 2024

  • LLaVA-Plus: 学习使用创建多模态代理的工具

    LLaVA-Plus 是一个通用的多模态助手，扩展了大型多模态模型的功能，它通过在用户输入的基础上激活相关工具，并维护了一个预训练的视觉和视觉语言模型的技能存储库，以实现实际任务。实证结果表明，LLaVA-Plus 在现有功能上优于 LLaVA，并展示出新的功能。它在直接基于图像查询和整个人工智能与人类交互过程中积极参与中具有独特之处，显著提高了工具使用性能并实现了新的场景。

    Nov, 2023

  • LoTa-Bench: 为具有体现性代理的面向语言任务规划器进行基准测试

    提出了一个针对家庭服务实体代理的任务规划性能自动量化基准系统，对大型语言模型和提示进行了广泛实验，并探索了基线任务规划器的多个改进，预计该基准工具将加快语言导向的任务规划器的发展。

    Feb, 2024

  • LLARVA: 视觉动作指令调整增强机器人学习

    通过使用纯指令调整的 Large Multimodal Models（LMMs），我们引入了 LLARVA 模型，该模型通过使用结构化提示统一了一系列机器人学习任务、场景和环境，并且利用预测中间的 2D 表达，即 “视觉迹线”，进一步对齐了视觉和动作空间，使得模型在不同的机器人环境和配置中得到了较好的泛化性能。

    Jun, 2024

  • 利用大型语言模型和检索加强生成来提高教科书问答任务

    该论文提出了一种利用检索增强生成技术和迁移学习来处理教科书问答中领域外情况的方法，以处理复杂的语境和多模态数据，并改善推理能力。通过对 Llama-2 模型进行监督微调和引入 RAG，我们的架构在非图表多项选择题中相较于基线模型，在验证集上精度提升了 4.12%，在测试集上提升了 9.84%。

    Feb, 2024

  • 大型语言模型的自动多步推理和工具使用

    ART 框架使用冻结的 LLM 自动生成中间推理步骤作为程序，并能无缝集成生成和外部工具使用，使得在 BigBench 和 MMLU 基准测试中，通过自动 CoT 和 few-shot 提示，ART 实现了对未知任务的实质性改进。在选定的任务上，人们可以通过纠正特定的程序错误或整合新工具来改善 ART 的性能.

    Mar, 2023

  • ToolQA: 一个带有外部工具的 LLM 问答数据集

    为了有效评估 Large Language Models（LLMs） 使用外部工具回答问题的能力，我们开发了一个名为 ToolQA 的新数据集，并使用可伸缩的自动化过程进行数据集的管理，并使用 13 种专门设计的工具进行交互以回答问题。

    Jun, 2023

  • 基于大型语言模型的自主视觉信息获取

    本文提出了一种基于大型语言模型的自主信息查找视觉问答框架 (AVIS)，包括三个组件：动态决定下一个工具的 LLM 规划器、分析和提取工具输出关键信息的 LLM 推理器，以及在整个过程中保留所获取信息的工作记忆组件。通过用户行为作为向导，该系统通过分析用户决策顺序创建转换图，并利用用户决策制定决策策略，从而实现了在 Infoseek 和 OK-VQA 等知识密集型视觉问答基准测试中取得了最新的成果。

    Jun, 2023

  • SciAgent：科学推理的工具增强语言模型

    通过在 LLMs 中引入可扩展的工具集，将研究重点从追求全知问题解决者转变为专业的工具使用者，以增加科学推理对于 LLMs 的可行性，并构建了一个名为 MathFunc 的涵盖了超过 30,000 个样本和约 6,000 个工具的工具增强训练语料库，在此基础上开发了 SciAgent 用于科学问题的工具检索、理解和使用，并构建了跨越五个科学领域的基准测试 SciToolBench 来评估 LLMs 在工具协助下的能力，通过 SciToolBench 上的大量实验证实了 SciAgent 的有效性，特别是 SciAgent-Mistral-7B 在绝对准确率上比同样大小的其他 LLMs 高出 13% 以上，此外，SciAgent-DeepMath-7B 的性能远远优于 ChatGPT。

    Feb, 2024

  • 大型语言模型（LLM）作为多个专家代理系统：解决抽象和推理语料库（ARC）挑战的方法

    使用大型语言模型（LLMs）作为多个专家代理系统，通过在零样本、少样本、上下文引导提示的情况下启动 LLMs 的灵活性，我们试图解决抽象和推理语料库（ARC）挑战。通过将输入图像转换为多个适合的基于文本的抽象空间，我们利用 LLMs 的联想能力推导出输入输出关系，并将其映射到工作程序形式的行动，类似于 Voyager / Ghost in the MineCraft。此外，我们使用迭代环境反馈来指导 LLMs 解决任务。我们的方法在训练集问题的 111 个问题中实现了 50 个解决方案（45%），仅使用三个抽象空间 - 网格、对象和像素。我们相信通过更多的抽象空间和可学习的行动，我们将能够解决更多问题。

    Oct, 2023