CVPRJun, 2023

通过借鉴同行经验，提高有选择性的视觉问答能力

PDF
TL;DR本文提出了一个使用 Learning from Your Peers 方法的多模式选择函数，以在不同分布的数据下实现选择性视觉问答，并在各种模型中取得了不错的表现。
visual question answeringselective predictionlearning from your peersmultimodal selection functionsrisk of error
发现论文，激发创造
  • 可靠的视觉问答：宁可弃而不答，不要错误作答

    本文提出了一种可靠的视觉问答方法，通过多模态选择函数对预测的答案进行准确性估计，分析了 VQA 模型的覆盖率与风险之间的权衡；提出了一种有效的可靠性指标，相对于提供错误的答案，强制要求 VQA 模型进行更多的弃权表明其不知道问题的答案。

    Apr, 2022

  • 选择性预测：降低视觉语言推理中的不必要弃权

    通过推理时间算法减少选择性视觉语言系统的过度式避免并提高系统可靠性。

    Feb, 2024

  • 领域转移下的选择性问题回答

    本文提出了一种选择性回答领域偏移下问题的设置，通过训练一个更好的模型来确定何时应该回答问题，以避免错误和不确定性。

    Jun, 2020

  • 重新思考视觉问答中的评估实践：针对分布外泛化的案例研究

    研究大规模多模态数据上预训练的 Vision-and-Language (V&L) 模型在视觉问答 (VQA) 任务中存在代表训练数据的样本分布偏移所造成的 OOD 性能问题，而模型学习的是解决基准测试而不是高层次的技能。本文通过考虑在不同设置下 (如分类和开放性文本生成) 两种预训练的 V&L 模型性能的全面评估，证明生成模型在大多数情况下对数据分布变化不太敏感，并在测试基准中表现更好。另外，我们发现多模态预训练可以提高大多数设置下的 OOD 性能。最后，本文重新审视了自动 VQA 评估度量的假设，并从经验上证明它们的严格性会反复惩罚模型的正确响应。

    May, 2022

  • 一致性与不确定性：从黑盒视觉语言模型中鉴别不可靠的响应，以进行选择性视觉问答

    在黑盒子中研究选择性预测，使用邻域一致性原则识别可靠性低的图像 - 语言模型在问答任务中的响应。

    Apr, 2024

  • 后戒断期：针对 QA 中已弃用实例的可靠重新尝试

    本文提出一种 “Post-Abstention” 任务来增加自然语言处理系统的覆盖率并保持准确度，通过对 11 个 QA 数据集的全面实验证明，该方法可以显著提高性能指标。

    May, 2023

  • 无法回答的视觉问答

    本研究旨在构建一个值得信赖的 AI 系统，通过为 Visual Question Answering（VQA）模型教授弃权无法回答问题的能力。研究通过提供一个名为 UNK-VQA 的全面数据集来填补这一研究空白，该数据集特别设计用于解决无法回答的问题。同时，通过对图像或问题进行有意的扰动，充分评估了多模式大型模型的零或少样本性能，并提出了解决这些无法回答问题的简单方法。这一数据集将为提升 VQA 模型的弃权能力提供一个有价值的基准，从而增加 AI 系统的可信度。

    Oct, 2023

  • 提高 NLP 系统的选择性预测能力

    本文介绍了一种通过使用预测置信度和难度分数来校准模型的概率估计方法，并基于此方法进行了自然语言推理和重复检测任务的实验，结果表明我们的校准器在 NLI 和 DD 任务中分别提高了 15.81％和 6.19％的准确率。

    Aug, 2020

  • 有选择性地回答视觉问题

    近期，大型多模态模型在视觉任务中表现出前所未有的精确性，尤其对于帮助盲人或视障人士提供准确答案至关重要，而模型的校准和不确定性量化对于有选择性地回答问题或请求澄清非常重要。我们对在上下文学习的多模态模型上进行 VQA 校准方法和度量的深入分析，研究了两个回答能力基准测试中的 VQA，结果显示，对于上下文学习来说，视觉模型的可能性得分比其纯文本模型更为校准，尽管基于采样的方法通常更优，但没有明确的赢家。我们提出了 Avg BLEU，这是一种结合了两种模式的采样和可能性方法优点的校准评分。

    Jun, 2024

  • 分析视觉问答模型的行为

    本文研究了基于深度学习模型的视觉问答模型，发现现有模型的准确率在 60-70％之间，且本文提出系统分析这些模型行为的方法，发现这些模型存在缺点，包括不够全面、容易得出错误答案和不易更正的问题。

    Jun, 2016