学会阐述:基于思维链的多模态推理用于科学问答
提出了一种名为 T-SciQ 的新方法,通过使用 LLM 信号生成高质量的思维链标理,训练具有 CoT 推理能力的模型并在科学问题回答中获得了最新的最高性能。
May, 2023
该研究提出了一种将语言与视觉信息相结合的理由生成和答案推断的多模态 - CoT 框架,使得答案推断可以更好地利用基于多模态信息的生成的理由,并取得了比先前最先进的 LLM(GPT-3.5)高 16 个百分点(75.17%-> 91.68%准确度)的性能,在 ScienceQA 基准测试中甚至超过了人类的表现。
Feb, 2023
利用链式思维和视觉问答技术,通过评估文本嵌入方法和视觉嵌入方法的有效性,研究如何提高深度学习模型在解决多项选择问题方面的准确性,实验结果显示这些方法在增强推理和问答能力方面具有潜力。
Dec, 2023
本研究通过 Multi-Chain Reasoning 方法,使用大型语言模型针对多个 chain-of-thought 进行 meta-reasoning,提高多跳问答的性能,并生成高质量的解释,结论基于七个多跳 QA 数据集上的测试表现优异。
Apr, 2023
我们提出了一种新的多模态链式思考推理方法,通过扩散过程利用潜在空间学习产生与语言思维相吻合的有效图像特征来融合图像特征和文本表示,提高多模态链式思考推理的复杂推理能力,从而为语言模型在多模态推理中提供了更健壮和有效的解决方案。
Dec, 2023
提出了 IRCoT 方法,在多步 QA 过程中使用检索和 CoT 交替进行,同时使用检索的结果来改善 CoT。在 HotpotQA、2WikiMultihopQA、MuSiQue 和 IIRC 四个数据集上,使用 IRCoT 方法取得了显著的检索和 QA 性能改进,即便是在小型模型 T5-Flan-large(0.7B)上也能奏效。
Dec, 2022
使用检索机制动态自动选择基于跨模态相似性的示例,以提升多模态推理中大型语言模型的性能。对各类示例进行分组并分别从不同组中检索示例,以增加示例的多样性。通过一系列实验,我们证明了我们的方法在多模态推理任务中取得了显著的性能改进。
Dec, 2023
该论文提出了一种在多步问题回答中维护显式推理过程的方法。该方法提取一个离散的推理链,并将其提供给一个基于 BERT 的 QA 模型来进行最终答案预测。我们的方法在两个近期提出的大型多跳问题回答数据集 ——WikiHop 和 HotpotQA 上进行了测试,并取得了令人瞩目的成果。
Oct, 2019
该论文提出了 Visual CoT,一种利用多模态大型语言模型(MLLMs)的推理能力的新型流程,通过结合可解释性认知链条(CoT)推理来处理复杂的视觉输入,并提供可解释的思路。我们收集并引入了 Visual CoT 数据集,该数据集包含 373k 个问题 - 答案对,通过中间边界框突出显示回答问题所必要的关键区域,能够评估在需要特定局部区域识别的场景中的 MLLMs 的性能。大量实验证明了我们的框架的有效性,并为更好的推理策略提供了启示。Visual CoT 数据集、基准和预训练模型可用于促进相关方向的进一步研究。
Mar, 2024
构建和利用语义结构的多跳问题回答框架,通过神经模型和连续思维机制提高推理能力,并结合信息抽取和提取的语义结构实现更准确和可解释的问题回答。
Nov, 2023