CVPRMar, 2023

使用答案启发式来启发大型语言模型进行基于知识的视觉问答

PDF
TL;DR本论文提出了一种名为 “Prophet” 的框架，采用两个补充答案启发式条目对 GPT-3 进行提示，以提高其理解任务的能力，从而在基于知识的视觉问答方面显著优于所有现有的最先进方法，分别在 OK-VQA 和 A-OKVQA 的测试集上达到了 61.1％和 55.7％的准确率。
visual question answeringknowledge-basedgpt-3answer heuristicsprophet
发现论文，激发创造
  • PromptCap：基于提示的任务感知图像字幕生成

    研究了通过引入 PromptCap 这一基于控制生成描述的图像标题模型，用于解决直接使用通用标题生成模型缺乏对视觉细节描述的问题，提高了知识型视觉问答任务的准确性。

    Nov, 2022

  • 精确赋能，过度分散：动态注入语言模型中的视觉问答知识

    通过提供来自知识图谱中提取的相关外部知识，我们通过增强问题并实现可变数量的三元组，为知识增强的视觉问答模型带来了平均 4.75％的准确匹配得分提升，并展示了其在推理能力和泛化能力方面的优势。

    Jun, 2024

  • GPT-3 对少样本基于知识的 VQA 的经验研究

    使用图像描述作为提示，通过 GPT-3 来实现基于知识的多模态问题回答，采用少样本学习，使 PICa 在两个数据集中超过有监督的最先进水平。

    Sep, 2021

  • 通过挖掘问答提示发现丰富的视觉线索，为需要多样化世界知识的 VQA 提供支持

    我们提出了一种名为 Q&A Prompts 的方法，该方法通过挖掘图像中的问题 - 回答对来发现丰富的视觉线索，并将其作为提示发送给预训练的多模态大型语言模型，以在需要涉及不同世界知识的具有挑战性的视觉问题回答数据集上实现了显著的改进。

    Jan, 2024

  • 语言引导的视觉问答：使用知识丰富的提示提升多模态语言模型

    对于图像中的问题，通过使用语言指导（LG）如解释、图像标题、场景图等方面的共识知识、世界知识和理解创意和概念来回答问题更准确；提出了一种多模态框架，使用 CLIP 和 BLIP 模型通过 A-OKVQA、Science-QA、VSR 和 IconQA 数据集的多选问题回答任务进行了基准测试，语言指导使得 CLIP 的性能提高了 7.6%，BLIP-2 的性能提高了 4.8%；使用所提出的语言指导在 Science-QA、VSR 和 IconQA 数据集上也观察到了持续的性能改进。

    Oct, 2023

  • 面向生成视觉问答的多模态提示检索

    提出了一种结合多模态提示检索和生成模型的方法，该方法可以在医学领域的视觉问题回答任务中比非检索方法提高高达 30％的精度。

    Jun, 2023

  • 为视觉问答填补图像信息缺口：引导大规模语言模型主动提问

    通过设计一种框架，使得大型语言模型能够主动提问以揭示图像中的更多细节，改进了知识驱动的视觉问答任务的性能。

    Nov, 2023

  • 提示作为探究：利用语言模型进行知识库构建

    本文提出了一种名为 ProP 的方法，它利用 GPT-3 这个大型语言模型进行知识库构建任务，结合多种提示技巧，结果表明手动提示的重要性、变长回答集的有效用处以及实体别名字典的效用等，从而获得了较高的预测质量。

    Aug, 2022

  • 基于知识的视觉问答的简单基准

    这篇研究论文介绍了一种基于知识的视觉问答（KB-VQA）问题的方法，通过在上下文中进行高效的学习，使用问题相关的标题作为上下文信息，而无需训练或访问外部数据库或 API，实现了最先进的准确度。

    Oct, 2023

  • 通过大型语言模型和推理问题提示改进零样本视觉问答

    通过生成推理问题提示，为零样本情景中的大型语言模型在零样本视觉问答任务中的问题回答问题选择和生成保持完整性、语义合理性和句法不变性，从而显著提高了大型语言模型在零样本情景中的性能。

    Nov, 2023