通过工具之间的对话和高效微调大型语言模型进行多模式多跳问答

Sep, 2023

通过工具之间的对话和高效微调大型语言模型进行多模式多跳问答

Multimodal Multi-Hop Question Answering Through a Conversation Between Tools and Efficiently Finetuned Large Language Models

PDF

Hossein Rajabzadeh, Suyuchen Wang, Hyock Ju Kwon, Bang Liu

TL;DR我们采用一种工具交互的分治策略，使大型语言模型能够回答复杂的多模式多跳问题，并以预定义的工具集中的适当工具回答单模式单跳子问题。通过生成工具交互分治数据集并对相应的语言模型进行高效微调，我们增加了大型语言模型的推理能力。实验分析表明，相比现有的最先进解决方案，我们的策略显著改进了两个最近引入的复杂问答数据集上的效果，表明我们策略的功效和普适性。

Abstract

We employ a tool-interacting divide-and-conquer strategy enabling large language models (LLMs) to answer complex multimodal multi-hop questions

large language models multimodal multi-hop questions divide-and-conquer strategy tool-interacting complex question-answering

发现论文，激发创造

使用少量数据合成实现高效的开放领域多跳问答

本文提出了一种基于借助少于 10 个人工标注的问题答案对进行改进较小的语言模型的多跳问答数据合成框架，经过句子等数据集测试实验，证明此框架可以显著提高运行效率并具有较好的准确性。

May, 2023

多跳问答系统是否知道如何回答单跳子问题？

本文研究了多跳问题回答的模型，调研表明多个现有的多跳 QA 模型无法准确回答子问题，说明其只是通过一些简单的线索来回答问题，而非真正理解推理路径，同时，本文提出的神经解析模型能显著提高子问题的回答性能，推动了向可解释的多跳 QA 系统的建设迈进。

Feb, 2020

MoqaGPT：大型语言模型的零射击多模态开放领域问题回答

通过使用 MoqaGPT 框架，我们可以在多模式开放域问答任务中实现零 - shot 学习，并提高多模式问答数据集上的性能。

Oct, 2023

Tool-LMM：一个用于工具智能学习的大型多模态模型

通过使用多模态编码器将开源大语言模型（LLM）与多模态输入指令结合起来，我们提出了 Tool-LMM 系统，使学习的 LLMs 能够意识到多模态输入指令并正确选择匹配功能的工具，实验证明我们的 LMM 能够为多模态指令推荐适当的工具。

Jan, 2024

使用软提示和随机游走触发语言模型中的多跳推理以进行问答

本文提出通过结构化知识图谱中的随机游走来指导语言模型完成多跳推理，从而有效解决语言模型在问答任务中组合多条逻辑事实的限制，并在两个 T5 语言模型上取得了显著的实验效果提升。

Jun, 2023

朝着全面答案更近一步：使用大型语言模型进行约束的多阶段问题分解

通过引入 “分解和查询”(D&Q) 框架，使得大规模语言模型在回答问题时能够避免幻觉，通过引导模型思考并利用外部知识，同时限制其思考范围在可靠信息内，从而有效减轻了幻觉的风险。实验证实了 D&Q 的有效性：在我们的 ChitChatQA 数据集上，D&Q 在 67％的情况下不输给 ChatGPT；在 HotPotQA 的仅问题设置下，D&Q 获得了 59.6％的 F1 得分。我们的代码可在此 https URL 找到。

Nov, 2023

通过多跳问答数据集和伪指导调整实现大型语言模型的鲁棒性时序推理

本文提出了一个复杂的时间问答（QA）数据集 Complex-TR，重点关注多答案和多跳的时间推理，并提出了一种新颖的数据增强策略来改善大型语言模型（LLMs）的复杂时间推理能力和鲁棒性。实验证明，我们的方法能够显著提高 LLMs 在时间 QA 基准测试上的性能。

Nov, 2023

FanOutQA：大型语言模型的多跳、多文档问答

通过创建 FanOutQA 数据集以及进行评估测试，研究发现当处理复杂的多文档依赖关系时，当代的语言模型如 GPT-4、LLaMA 2、Claude-2.1 和 Mixtral-8x7B 仍存在推理能力的提升空间。

Feb, 2024

大规模语言模型在多模态搜索中的应用

多模态搜索系统结合图像和文本，通过增强匹配能力、推理能力和上下文感知的查询解析和重写，提供用户与其搜索意图自然有效的交互。在 Fashion200K 数据集上，我们引入了一种新颖的多模态搜索模型，并提出了结合大型语言模型的搜索界面，以实现与用户的对话式互动和上下文考虑的搜索体验的升级，为购物助手提供了类人交互和全面的搜索体验。

Apr, 2024

为金融中的表格数据分析赋予语言模型工具使用能力

通过使用外部工具对语言模型进行增强，可缓解传播误差和幻觉等挑战，特别是在数据异构、精确性至关重要的金融领域。我们将监督微调应用于 LLaMA-2 13B Chat 模型，使其成为 ' 任务路由器 ' 和 ' 任务解决器 '。通过使用金融领域的问答数据集，我们的模型 Raven 在改进基准模型和仅进行监督微调的基线模型上分别显示了 35.2% 和 5.06% 的改进，并且与 GPT-3.5 取得了很好的竞争效果。据我们所知，这是首个探索对金融领域的语言模型进行工具增强的研究。

Jan, 2024