Dec, 2023

减少幻觉：利用视觉语境增强洪水灾害损害评估的 VQA

PDF
TL;DR本论文提出了一种名为洪水灾害 VQA-TSP 的零样本视觉问答模型，通过两阶段提示生成思考过程并使用视觉上下文来减轻思考过程中的幻觉问题，实验结果显示我们的方法在洪水灾害场景中超过了现有零样本 VQA 模型的性能，为改进基于 CoT 的零样本 VQA 性能提供了研究基础。
发现论文，激发创造
  • 释放大型语言模型的潜力：洪水灾害场景下的无监督视觉问答（Zero-shot VQA）

    基于大规模语言模型 CoT 链条提示的零样本 VQA 模型，通过构建 FFD-IQA 评估数据集，对洪水灾害进行损坏评估，并在复杂问题回答中展现了更好的性能。

    Dec, 2023

  • 探讨零样本和少样本视觉问答的提示技术

    本研究探索了使用各种提示策略来增强零样本视觉问答性能的方法，重点关注 BLIP2 模型，通过在多个视觉问答数据集上进行全面研究，发现精心设计的问题模板和集成附加视觉提示，如图像标题，可以提高 VQA 绩效，特别是在与少量样本示例结合使用时。

    Jun, 2023

  • 通过大型语言模型和推理问题提示改进零样本视觉问答

    通过生成推理问题提示，为零样本情景中的大型语言模型在零样本视觉问答任务中的问题回答问题选择和生成保持完整性、语义合理性和句法不变性，从而显著提高了大型语言模型在零样本情景中的性能。

    Nov, 2023

  • 视觉去幻化指令生成

    该文介绍了一种名为 CAP2QA 的生成视觉识别指导的方法，能够显著减少视觉错觉，同时改善视觉识别能力和表达能力。

    Feb, 2024

  • 通过问题驱动的图像标题作为提示，增强视觉问答能力

    通过在视觉问题回答（VQA）过程中利用图像描述作为中介步骤，建立零样本设置，探索了零样本 VQA 的影响。比较了最先进的图像描述模型对于不同问题类型的 VQA 性能在结构和语义上的影响，并在 VQA 过程中提出了一种简单高效的问题驱动图像描述方法，通过提取问题关键词、为每个图像 - 问题对生成描述，并将问题驱动的描述传输到大型语言模型中。研究发现利用图像描述和大型语言模型的能力，在零样本设置下能够实现竞争性的 GQA 性能。

    Apr, 2024

  • 医学视觉问答中的幻觉基准

    最近大型语言和视觉模型在视觉问答（VQA）方面取得的成功，特别是在医学领域的应用（Med-VQA），表明实现有效的医疗视觉助手具有巨大潜力。然而，这些模型在临床环境中并没有经过广泛测试，我们在这里创建了一种医学图像的幻觉基准，并对最先进的模型进行了全面评估。该研究对当前模型的局限性进行了深入分析，并揭示了各种提示策略的有效性。

    Jan, 2024

  • 用于少样本生成基于内容的问答对话的结构化思路引导

    我们提出了一种结构化的思维链（SCoT）提示方法，使用预训练的大型语言模型（LLM）生成基于内容的多轮问答对话，并通过将复杂任务分解为状态机中的多个状态，通过其专用状态执行各种子任务，例如读取内容和生成话语等，以增加对基础文档的代理忠实度并减轻错误生成。

    Feb, 2024

  • 大型视觉语言模型中的幻觉检测与预防

    介绍 M-HalDetect，一个用于训练和评估幻觉检测和预防模型的多模态幻觉检测数据集。使用 Fine-grained Direct Preference Optimization 和拒绝抽样方法，成功减少了幻觉率，为视觉问题回答任务提供了重要的改进。

    Aug, 2023

  • 从图像到文本提示：使用 Frozen 大语言模型进行零样本 VQA

    提出了 Img2Prompt 模块，它可以提供可以描述图像内容和自构建问题答案对的提示，并且能够帮助 LLMs 执行无需端到端训练的零射击 VQA 任务。

    Dec, 2022

  • 用视觉监督减轻视觉 - 语言模型中的虚构问题

    通过引入更详细的视觉注释和更具区分性的视觉模型来提高大型视觉语言模型的训练，使其能够生成更精确的回答，减少幻觉；此外，提出了新的评估基准 RAH-Bench 分为三种不同的幻觉类型，与原始 LLaVA 相比，我们的方法在该基准下实现了 +8.4% 的改进，并在其他模型上取得了广泛的性能提升。

    Nov, 2023