利用现有模型对多步骤物理推理任务进行评估，通过引入多模态元素的高中级别物理问题的新数据集 MM-PhyQA，测试了包括 GPT-4 和 LLaVA 在内的多个大型语言模型的性能，并展示了基于 MI-CoT 提示技术的 LLaVA-1.5 13b 模型在测试集上的最佳结果，具有最高的 71.65% 准确率。

Apr, 2024

本文介绍了一个名为 “MultiModalQA (MMQA)” 的数据集，该数据集需要通过对文本、表格和图像的联合推理来回答问题。作者还创建了一个新框架来生成复杂的多模态问题，并演示了多模态多跳方法在解决这一任务中的必要性。

Apr, 2021

该研究提出了名为 MultiModal-GPT 的视觉与语言模型，可以利用证据和语言数据对多模式指令进行调整，为模型的不断对话提供支持，同时提出了联合培训的观点，并通过各种演示展示了 MultiModal-GPT 的连续对话能力。

May, 2023

本文提出了 xGQA，一个用于跨语言视觉问答任务的新的多语言评估基准，并使用适配器方法将多模型变换器模型扩展为多语言模型，结果表明简单的跨语言模型转移会导致多语言多模态失配，需要更复杂的方法来进行跨语言视觉和多语言语言建模

Sep, 2021

本研究提出了一个名为 BeamSearchQA 的新型问题回答管道，它通过使用大型语言模型迭代地生成关于原始问题的新问题，从而启用一个迭代推理过程，以便更好地捕捉和利用隐藏知识。实验结果表明，BeamSearchQA 明显优于其他零 - shot 基线，在处理开放性领域问题回答方面具有很强的有效性。

May, 2023

我们采用一种工具交互的分治策略，使大型语言模型能够回答复杂的多模式多跳问题，并以预定义的工具集中的适当工具回答单模式单跳子问题。通过生成工具交互分治数据集并对相应的语言模型进行高效微调，我们增加了大型语言模型的推理能力。实验分析表明，相比现有的最先进解决方案，我们的策略显著改进了两个最近引入的复杂问答数据集上的效果，表明我们策略的功效和普适性。

Sep, 2023

提出了一种结合多模态提示检索和生成模型的方法，该方法可以在医学领域的视觉问题回答任务中比非检索方法提高高达 30％的精度。

Jun, 2023

利用我们提出的多模态问答（MQA）框架，将多模态信息提取（MIE）任务统一为一个统一的片段提取和多项选择问答流水线，从而提高了各种类型的现成大型多模态模型在 MIE 任务上的性能，特别是在零样本和少样本情况下，我们的框架能够使 LMM 在与 ChatGPT 和 GPT-4 等更大的语言模型竞争或超越的 10B 参数尺度上获得更好的表现，从而将 MQA 框架作为利用 LMMs 解决 MIE 和其他下游多模态任务的一般原则。

Oct, 2023

我们介绍了 ChatQA，一种具有 GPT-4 级准确性的对话问答模型系列。我们提出了一种两阶段指令调优方法，可以显著提高大型语言模型的零 - shot 对话问答结果。为了处理对话问答中的检索问题，我们在多轮问答数据集上对密集检索器进行微调，其结果可与最先进的查询重写模型相媲美，并大幅降低部署成本。值得注意的是，我们的 ChatQA-70B 在 10 个对话问答数据集的平均得分上超过了 GPT-4（54.14 vs. 53.90），而无需依赖 OpenAI GPT 模型的任何合成数据。

Jan, 2024

通过在医学学科上对小型语言模型进行微调和使用 GPT-4 生成类似下游任务的问题进行微调，我们提出了一种方法来提高医学领域中小型语言模型的熟练度。此外，我们还引入了包含相关问题序列的 “渐进问题” 的 ECN-QA，以展示我们的训练策略的好处。

May, 2024