Nov, 2023

通过大型语言模型和推理问题提示改进零样本视觉问答

PDF
TL;DR通过生成推理问题提示，为零样本情景中的大型语言模型在零样本视觉问答任务中的问题回答问题选择和生成保持完整性、语义合理性和句法不变性，从而显著提高了大型语言模型在零样本情景中的性能。
zero-shot visual question answeringlarge language modelsquestion promptsreasoning question promptszero-shot setting
发现论文，激发创造
  • 通过问题驱动的图像标题作为提示，增强视觉问答能力

    通过在视觉问题回答（VQA）过程中利用图像描述作为中介步骤，建立零样本设置，探索了零样本 VQA 的影响。比较了最先进的图像描述模型对于不同问题类型的 VQA 性能在结构和语义上的影响，并在 VQA 过程中提出了一种简单高效的问题驱动图像描述方法，通过提取问题关键词、为每个图像 - 问题对生成描述，并将问题驱动的描述传输到大型语言模型中。研究发现利用图像描述和大型语言模型的能力，在零样本设置下能够实现竞争性的 GQA 性能。

    Apr, 2024

  • 探讨零样本和少样本视觉问答的提示技术

    本研究探索了使用各种提示策略来增强零样本视觉问答性能的方法，重点关注 BLIP2 模型，通过在多个视觉问答数据集上进行全面研究，发现精心设计的问题模板和集成附加视觉提示，如图像标题，可以提高 VQA 绩效，特别是在与少量样本示例结合使用时。

    Jun, 2023

  • 从图像到文本提示：使用 Frozen 大语言模型进行零样本 VQA

    提出了 Img2Prompt 模块，它可以提供可以描述图像内容和自构建问题答案对的提示，并且能够帮助 LLMs 执行无需端到端训练的零射击 VQA 任务。

    Dec, 2022

  • 为视觉问答填补图像信息缺口：引导大规模语言模型主动提问

    通过设计一种框架，使得大型语言模型能够主动提问以揭示图像中的更多细节，改进了知识驱动的视觉问答任务的性能。

    Nov, 2023

  • 好问题促进零射影像推理

    通过引入问题驱动的视觉探索 (QVix)，可以增强大型视觉语言模型 (LVLMs) 在零样本推理任务中的探索能力，提高其推理准确性和深度。

    Dec, 2023

  • 语言引导的视觉问答：使用知识丰富的提示提升多模态语言模型

    对于图像中的问题，通过使用语言指导（LG）如解释、图像标题、场景图等方面的共识知识、世界知识和理解创意和概念来回答问题更准确；提出了一种多模态框架，使用 CLIP 和 BLIP 模型通过 A-OKVQA、Science-QA、VSR 和 IconQA 数据集的多选问题回答任务进行了基准测试，语言指导使得 CLIP 的性能提高了 7.6%，BLIP-2 的性能提高了 4.8%；使用所提出的语言指导在 Science-QA、VSR 和 IconQA 数据集上也观察到了持续的性能改进。

    Oct, 2023

  • 通过挖掘问答提示发现丰富的视觉线索，为需要多样化世界知识的 VQA 提供支持

    我们提出了一种名为 Q&A Prompts 的方法，该方法通过挖掘图像中的问题 - 回答对来发现丰富的视觉线索，并将其作为提示发送给预训练的多模态大型语言模型，以在需要涉及不同世界知识的具有挑战性的视觉问题回答数据集上实现了显著的改进。

    Jan, 2024

  • 基于零样本知识生成的基于知识的视觉问答

    基于预训练语言模型的知识生成方法在知识型视觉问答方面表现优于以往零样本方法，生成的知识普遍相关且有帮助。

    Feb, 2024

  • 重新表述、增强、推理：视觉定位问题与视觉 - 语言模型的关联

    通过添加视觉相关信息作为预先说明以减少不确定性，并改变提问方式以提高模型性能，在图像问答任务中，使用 RepARe 框架可以显著提高零样本性能，并通过对输出进行深入分析，展示了如何提高句法复杂性并有效利用 LVLMs 中的视觉 - 语言交互和冻结语言模型。

    Oct, 2023

  • PromptCap：基于提示的任务感知图像字幕生成

    研究了通过引入 PromptCap 这一基于控制生成描述的图像标题模型，用于解决直接使用通用标题生成模型缺乏对视觉细节描述的问题，提高了知识型视觉问答任务的准确性。

    Nov, 2022