Oct, 2023

探索零样本视觉问答的问题分解

PDF
TL;DR通过研究和应用视觉 - 语言模型，本文提出了问题分解策略和模型驱动的选择性分解方法，以提高视觉问答任务的准确性和性能。
visual question answeringquestion decomposition strategylarge vision-language modelsselective decomposition approachvqa tasks
发现论文，激发创造
  • 基于问题分解的知识驱动和视觉推理解耦的知识图谱可视问答

    我们研究了基于知识的视觉问答问题，通过将复杂问题替换为多个简单问题，从图像中提取更相关的信息来增强对图像的理解，并在三个著名的视觉问答数据集中实现了高达 2% 的准确率提升。

    Jun, 2024

  • 基于预训练模型的模块化零样本视觉问答

    本文探讨如何利用预训练模型来支持零样本视觉问答，通过模块化的零样本网络将问题分解成子理性步骤，并将子任务分配给适当的预训练模型以实现更好的可解释性。实验表明，我们的方法比其他基线方法更具有效性和可解释性。

    May, 2023

  • C-VQA: Visual Question Answering (VQA) v1.0 数据集的组合拆分

    本文介绍了一个新的视觉问答问题设置，称为组合 VQA（Compositional VQA）。为了便于在此设置下开发模型，我们提出了一个新的 VQA 数据集的组合拆分。最后，我们在这个新设置下评估了几个现有的 VQA 模型，并显示这些模型的性能比原始 VQA 设置下降了显著的量。

    Apr, 2017

  • 使用知识图谱的零样本视觉问答

    本研究提出了一种使用知识图谱和基于掩码的学习机制来更好地结合外部知识的零样本 VQA 算法，并在 F-VQA 数据集上提出了新的基于答案的零样本 VQA 切分。实验表明，我们的方法在处理未见过的答案方面可以实现最先进的性能，并显著增强现有的端到端模型在正常的 F-VQA 任务上的表现。

    Jul, 2021

  • 零样本视觉问答

    本文提出了一种评估 VQA 方法能力的新协议，该方法旨在衡量其执行零摄影技术需求 (Zero-Shot VQA) 的能力，并在此过程中凸显了当前方法的一些实际缺陷，其中一些缺陷被当前数据集中的偏见掩盖。通过在预训练单词嵌入和物体分类器等方面进行实验，我们提出并评估了多种实现零摄影技术需求的策略，并在标准 VQA 评估设置中实现了最先进的性能。

    Nov, 2016

  • 探讨零样本和少样本视觉问答的提示技术

    本研究探索了使用各种提示策略来增强零样本视觉问答性能的方法，重点关注 BLIP2 模型，通过在多个视觉问答数据集上进行全面研究，发现精心设计的问题模板和集成附加视觉提示，如图像标题，可以提高 VQA 绩效，特别是在与少量样本示例结合使用时。

    Jun, 2023

  • 全句 VQA 的无监督关键词抽取

    本文提出了一种基于无监督学习的关键词提取方法，针对自然情境 VQA 任务，旨在准确抽取包含新信息的答案关键词，并将其与已知问题信息分离开来，实验证明该方法对含全句答案的 VQA 数据集能准确抽取关键词。

    Nov, 2019

  • 利用分解探针校准多跳问答系统的信任度

    本论文探讨了利用多跳问题分解来探究神经问答模型的解释性，通过人类实验证明这种方法可以提高用户预测系统在某个问题实例上的性能，并且可以用来改进问答系统。

    Apr, 2022

  • 无监督式问答问题分解

    该论文提出了一种基于 ONUS 算法的无监督学习方法，通过将复杂问题分解为多个子问题，并利用互联网上的数据，来改善问答系统的性能。该方法得到了在多个测试集上的验证，并在流畅度上超越了监督和启发式分解方法。

    Feb, 2020

  • 朝着全面答案更近一步：使用大型语言模型进行约束的多阶段问题分解

    通过引入 “分解和查询”(D&Q) 框架，使得大规模语言模型在回答问题时能够避免幻觉，通过引导模型思考并利用外部知识，同时限制其思考范围在可靠信息内，从而有效减轻了幻觉的风险。实验证实了 D&Q 的有效性：在我们的 ChitChatQA 数据集上，D&Q 在 67％的情况下不输给 ChatGPT；在 HotPotQA 的仅问题设置下，D&Q 获得了 59.6％的 F1 得分。我们的代码可在此 https URL 找到。

    Nov, 2023