COLINGMay, 2024

通过软负采样增强多模态思维链中的语义

PDF
TL;DR利用软负采样的方法减轻多模式 CoT 中幻觉问题的研究提出了一种理性生成方法（SNSE-CoT）。在传统的对比学习框架中引入了五种方法来生成高度相似但具有不同语义的软负样本，并通过双向边界损失将其应用于多模式 CoT 中，对 ScienceQA 数据集进行了广泛实验，并证明了该方法的有效性。
chain of thoughtrationale generationmultimodal cotsoft negative samplinghallucinations
发现论文，激发创造
  • 语言模型中的多模态思维链推理

    该研究提出了一种将语言与视觉信息相结合的理由生成和答案推断的多模态 - CoT 框架，使得答案推断可以更好地利用基于多模态信息的生成的理由，并取得了比先前最先进的 LLM（GPT-3.5）高 16 个百分点（75.17％-> 91.68％准确度）的性能，在 ScienceQA 基准测试中甚至超过了人类的表现。

    Feb, 2023

  • 多模态潜空间学习用于语言模型的思维链推理

    我们提出了一种新的多模态链式思考推理方法，通过扩散过程利用潜在空间学习产生与语言思维相吻合的有效图像特征来融合图像特征和文本表示，提高多模态链式思考推理的复杂推理能力，从而为语言模型在多模态推理中提供了更健壮和有效的解决方案。

    Dec, 2023

  • 大型语言模型的检索增强多模态思维链推理

    使用检索机制动态自动选择基于跨模态相似性的示例，以提升多模态推理中大型语言模型的性能。对各类示例进行分组并分别从不同组中检索示例，以增加示例的多样性。通过一系列实验，我们证明了我们的方法在多模态推理任务中取得了显著的性能改进。

    Dec, 2023

  • 学会阐述：基于思维链的多模态推理用于科学问答

    利用多模态多选问题和对应的讲座和解释构建科学问题回答 (ScienceQA) 基准测试，证明思路链在语言模型中的实用性，并通过在 GPT-3 上实现 18.96% 的 few-shot leap 提高上界；证明与人类类似，从解释中受益，可以借少训练数据实现相同的性能

    Sep, 2022

  • 视觉 CoT：在多模态语言模型中释放连续思维推理

    该论文提出了 Visual CoT，一种利用多模态大型语言模型（MLLMs）的推理能力的新型流程，通过结合可解释性认知链条（CoT）推理来处理复杂的视觉输入，并提供可解释的思路。我们收集并引入了 Visual CoT 数据集，该数据集包含 373k 个问题 - 答案对，通过中间边界框突出显示回答问题所必要的关键区域，能够评估在需要特定局部区域识别的场景中的 MLLMs 的性能。大量实验证明了我们的框架的有效性，并为更好的推理策略提供了启示。Visual CoT 数据集、基准和预训练模型可用于促进相关方向的进一步研究。

    Mar, 2024

  • T-SciQ: 通过大语言模型信号进行多模态思维推理教学，用于科学问答

    提出了一种名为 T-SciQ 的新方法，通过使用 LLM 信号生成高质量的思维链标理，训练具有 CoT 推理能力的模型并在科学问题回答中获得了最新的最高性能。

    May, 2023

  • KAM-CoT：知识增强的多模式思维链推理

    通过整合 CoT 推理、知识图谱和多模态的综合理解，KAM-CoT 提出了一种在多模态任务中应对挑战并提高性能的框架，以更深层次的上下文理解降低幻觉并增强答案质量。

    Jan, 2024

  • 多模态命名实体和多模态关系抽取的思维链提示蒸馏

    本研究探索了如何通过生成 “思考链” 从大型语言模型中提取出推理能力并综合常识推理能力，进而实现条件提示蒸馏，提高学生模型在 MNER 和 MRE 数据集上的效果。

    Jun, 2023

  • 使用选择性过滤减轻具有误导性的连续思维推理

    通过选择性过滤推理程序（SelF-Reasoner）提高了大型语言模型的链式思考推理能力，进而改进了基于 T5 模型的科学问题、Bluetooth 问题和最后一个字母问题的解答质量。

    Mar, 2024

  • 实现统一的多模态推理框架

    利用链式思维和视觉问答技术，通过评估文本嵌入方法和视觉嵌入方法的有效性，研究如何提高深度学习模型在解决多项选择问题方面的准确性，实验结果显示这些方法在增强推理和问答能力方面具有潜力。

    Dec, 2023